检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 定义您的数据结构，包括数据目录、数据库、表。请参考创建数据库和表。 创建必要的存储桶来存储作业运行过程中产生的临时数据：作业
path=>'[path]', limit=>[limit]); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询的表的表名，支持database.tablename格式 table，path须选填其中之一 path 需要查询的表的路径 table，path须选填其中之一 predicate
表1 Spark Jar作业开发环境 准备项 说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven
在DLI控制台总览页面左侧，单击“SQL编辑器”，进入SQL作业编辑器页面。 在SQL作业编辑器左侧，选择“数据库”页签，单击创建名字为demo的数据库。 在DLI的SQL编辑窗口，执行引擎选择“spark”，队列选择“default”，数据库选择为“demo”。输入以下建表语句，创建OBS表test_csv_hw并导入test
Table Information Database: default
DLI权限分类 权限大类 权限小类 控制台操作 SQL语法 队列权限 队列管理权限 请参考队列权限管理 无 队列使用权限 数据权限 数据库权限 请参考在DLI控制台配置数据库权限和在DLI控制台配置表权限 请参考 《权限列表》。 表权限 列权限 作业权限 Flink作业 请参考配置Flink作业权限
功能。 UNSET TBLPROPERTIES：取消表属性，关闭多版本功能。 参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name 表名称。 注意事项 DLI数据多版本
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli
创建OBS表需要指定OBS路径，且该路径需要提前创建。 完整样例代码和依赖包说明请参考：Python SDK概述。 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下： 1 2 3 4 5 6 7 8 def delete_tbls(dli_client, db_name):
PARTITIONS：分区。 参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name Database中的表名，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。匹配规则为：^(
10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象，构造函数的入参包括队列、数据库名、表名（通过实例化Table对象获取）和数据路径 private static void importData(Queue queue,
timestamp3, unix_timestamp(timestamp1) as date3_unix_timestamp from database_t;输出： +------------+-------------------------+-------------------
HISTORY FOR TABLE：查看备份数据。 PARTITION：指定分区列。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
id, 'a2', '2021-01-03' as dt, '19' as hh; 权限需求 由DLI提供的元数据服务 SQL权限： database table 无 INSERT_INTO_TABLE 细粒度权限：dli:table:insertIntoTable 由LakeFo
table：清理多版本数据。 older_than：指定清理多版本数据的时间范围。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 时间戳 删除该时间戳时间点
VERSION：指定版本号。具体的版本号可以通过SHOW HISTORY命令获取，详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
参数名称 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。 说明： 在SQL里面已经包含db_name的情况下可以不选该参数，例如SQL为：select * from db1.t1。 SQL里面
TBLPROPERTIES：TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。 table_name 表名称。 days 多版本中备份数据
SQL创建hudi表名为${table_name}， 同步元数据服务后，数据库中多出两张表分别为${table_name}_rt和${table_name}_ro。 实时视图读取（SparkSQL为例）：直接读取相同数据库中后缀为_rt的hudi表即可。 select count(*) from
的 catalog 和名为 “db_name” 的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”；对于 table_name
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
