检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明： 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云，才能进行授权操作。 权限设置 全选：所有的权限都勾选上。 查看作业详情：查看此作业的作业详情。 更新作业：编辑修改此作业。 删除作业：删除此作业。
根据提示输入对应信息，单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后，打开凭证文件，获取AK/SK信息。 左侧导航栏单击“API凭证”，在“项目列表”中获取“项目ID”即为project_id值，对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
根据提示输入对应信息，单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后，打开凭证文件，获取AK/SK信息。 左侧导航栏单击“API凭证”，在“项目列表”中获取“项目ID”即为project_id值，对应的“项目”即为region的值。 Token认证方式样例代码 代码样例
teTable, dli:table:select。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 创建分区表 create table if not exists delta_table0 using delta partitioned
数据库相关 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库，示例代码如下： 1 2 3 4 5 6 7 8 def create_db(dli_client): try: db = dli_client.create_database('db_for_test')
名为“default”的数据库。 删除数据库 DLI提供删除数据库的接口。您可以使用该接口删除数据库。示例代码如下： 1 2 3 4 5 6 7 8 //调用Database对象的deleteDatabase接口删除数据库, //其中Database对象通过调用对象DLIClie
表的UPDATE权限 细粒度权限：dli:table:update。 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 VACUUM delta_table0 RETAIN 168 HOURS; VACUUM delta_table0 RETAIN
细粒度权限：dli:table:createTable, dli:table:select 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 Table创建成功，创建的Hudi表可以进入DLI控制台，在左侧菜单栏选择”数据管理”->”库表管理”，随后筛选数据库并点击名称，进入表列表查询。
例如，当前Livy工具安装路径为“/opt/livy”，则当前需要上传的jar包名称如下： /opt/livy/rsc-jars/livy-api-0.7.2.0107.jar /opt/livy/rsc-jars/livy-rsc-0.7.2.0107.jar /opt/livy/repl_2
<key1>=<val1>;<key2>=<val2>… 说明： endpoint指DLI的终端节点，具体请参考地区和终端节点。 projectId指项目编号，从华为云“基本信息>我的凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=value”的形式列出，配置项之间以“;”隔开，详见表3
[[ENABLE|DISABLE] [VALIDATE|NOVALIDATE] [RELY|NORELY]] 参数说明 请参考使用Hive语法创建OBS表，和Hive 文档了解每个DDL语句的语义。 表1 TBLPROPERTIES 参数说明 参数 是否必选 默认参数 数据类型 说明 streaming-source
传参不能为JSON格式。 对应批处理作业提交提供两个接口： 异步 asyncSubmit，提交后直接返回，不等待 同步 submit，提交后会一直等待作业执行结束 删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： 1 2 3 4 5 6
细粒度权限：dli:table:insertIntoTable 由LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 系统响应 可以确认任务状态成功，运行QUERY语句查看表中写入的数据。 父主题： Hudi DML语法说明
创建DLI表的语法请参考创建DLI表，创建OBS表的语法请参考创建OBS表。 如果是通过API接口调用提交该作业请参考以下操作说明： 调用创建批处理作业接口，参考以下请求参数说明。 详细的API参数说明请参考《数据湖探索API参考》>《创建批处理作业》。 将请求参数中的“catalog_name”参数设置为“dli”。
什么区别？ DLI和MRS都支持Spark组件，但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 DLI的这种模式减轻了运维负担，可以更专注于数据处理和分析任务本身。
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
'properties.security.protocol' = 'SASL_SSL'、 'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'、 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
Hudi表的写任务要开启Hive元数据同步功能。 SparkSQL天然与Hive集成，无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管
细粒度权限：dli:database:createTable LakeFormation提供的元数据服务，权限配置详见LakeFormation文档。 示例 通过表名创建非分区表 create table if not exists delta_table0 ( id int, name
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
