检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark作业相关 完整样例代码和依赖包说明请参考:Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 ALTER TABLE table1 RENAME COLUMN addr to address ALTER TABLE table1
表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 RESTORE delta_table0 TO TIMESTAMP AS OF '2020-10-18 22:15:12.013';
单击右上角的“创建作业”,在Spark作业编辑窗口,可以选择使用“表单模式”或者“API模式”进行参数设置。 以下以“表单模式”页面进行说明,“API模式”即采用API接口模式设置参数及参数值,具体请参考《数据湖探索API参考》。 选择运行队列。 队列:在下拉列表中选择要使用的队列。 选择S
SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
表的ALTER权限 细粒度权限:dli:table:alter。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 alter table delta_table0 add constraint const_price check(price>0);
细粒度权限:dli:table:describeTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 DESCRIBE FORMATTED delta_table0; DESCRIBE FORMATTED delta.`obs:
MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。
asticsearch的文档ID。文档ID为最多512个字节不包含空格的字符串。Elasticsearch结果表通过使用“document-id.key-delimiter”参数指定的键分隔符按照DDL中定义的顺序连接所有主键字段,从而为每一行生成一个文档ID字符串。某些类型(例
权限需求 由DLI提供的元数据服务 SQL权限:不支持。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
able, dli:table:dropTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int,name string,price
ateTable, dli:table:select。 LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 CREATE OR REPLACE TABLE delta_table1 SHALLOW CLONE delta_table0 LOCATION
teTable, dli:table:select。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 创建分区表 create table if not exists delta_table0 using delta partitioned
15及以上版本在创建Jar作业时支持直接配置OBS中的程序包,不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 新建作业模板 DLI提供新建Flink作业模板的接口。您可以使用该接口新建一个Flink作业模板。示例代码如下: 1 2 3 4 5 6 public static void createFlinkJ
表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明: 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。
名为“default”的数据库。 删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下: 1 2 3 4 5 6 7 8 //调用Database对象的deleteDatabase接口删除数据库, //其中Database对象通过调用对象DLIClie