检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 sql_id 是 String SQL模板ID。 请求参数 表2 请求参数说明 名称 是否必选 参数类型 说明 sql
实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table hudi_sink_table ( // table
原因为数据格式问题。 排查客户实际数据，发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题： 通过udf成jar包的形式 修改配置 修改源数据格式，再次执行作业，无问题。 父主题： Flink SQL作业类
操作流程 图1 操作流程 步骤1：安装并配置Kyuubi连接DLI：安装并配置Kyuubi，确保Kyuubi可以连接到DLI。 步骤2：配置ODBC连接Kyuubi：安装ODBC驱动，配置ODBC驱动连接到Kyuubi服务器。 步骤3：配置Power BI使用ODBC连接到Ky
可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DLI的使用权限，但是不希望他们拥有删除DLI等高危操作的权限，那么您可以使用IAM为开发人员创
0/{project_id}/jobs 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 page-size 否 Integer 每页显示的最大作业个数，范围:
async：异步 sync：同步 请求示例 无 响应示例 同步方式请求成功响应样例： { "is_success": true, "message": "", "job_mode": "sync" } 异步方式请求成功响应样例： { "is_success": true,
15版本请勿重复在作业代码和Jar作业配置界面配置Checkpoint相关参数，作业代码中的配置项优先级更高，重复配置可能导致作业在异常重启时使用错误的Checkpoint路径恢复数据，导致恢复失败或数据不一致。 勾选“开启Checkpoint”后配置以下参数开启Checkpoint：
DLI管理控制台Spark Jar作业配置说明 （推荐）方式一：使用控制台提供的参数项（委托、元数据来源等）配置Spark Jar作业访问LakeFormation元数据 新建或编辑Spark Jar作业时，请参考表3Spark Jar作业访问LakeFormation元数据。 表3 配置Spark J
分配队列至项目 企业项目是一种云资源管理方式，企业可以根据组织架构规划企业项目，将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目，本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前
创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
分配弹性资源池至项目 企业项目是一种云资源管理方式，企业可以根据组织架构规划企业项目，将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目，本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。
作业时，请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下:
Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studio服务进行作业开发请参考《数据治理中心用户指南》。 Spark SQL语法创建表时是否支持定义主键
可以帮助您安全的控制华为云资源的访问。 关于IAM的详细介绍，请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关
0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 创建集群除公共请求消息头参数以外，还有特殊的请求消息头参数，具体如表2所示。 表2 Header说明 名称
0/{project_id}/queues 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型：
0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 sql 是 String 新增的SQL模板。 sql_name
0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 用于过滤SQL模板的关键字。
Hudi支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。 Lakeformation元数据可在湖仓构建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
