检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 （推荐）DLI SDK
Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 对等连接的连接状态： 跨源连接的状态信息，包括以下三种状态：创建中、已激活、已失败。 当连接状态显示为“已失败”时，单击左边对应的，可查看详细的错误信息。 图1 查看增强型跨源连接详情
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1
Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件
Database中的表名，由字母、数字和下划线（_）组成。 obs_path Obs路径，表示Delta表的存储位置。 timestamp_expression 时间戳，不能晚于当前时间，格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号 示例 RESTORE
定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink
String 用户上传的config包OBS路径。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的程序包名，用户sql作业的udf jar通过该参数传入。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。
读取kafka中的数据，以avro格式反序列化，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多
security_group_id 是 String 用户指定安全组ID，即为需要建立连接的服务所在的安全组。 network_id 是 String 对应服务的子网网络ID，即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。
TypeSerializer 序列化的字节序列。 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 >
快照时间间隔。单位为秒，默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS桶名称。 log_enabled
语句中，可以随意添加其他的查询条件，但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中，可以随意添加其他的查询条件，但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中，可以随意添加其他的查询条件，但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果
DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com.huaweicloud.sdk.core
使用IF NOT EXISTS子句时，如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性，如表的存储位置（location）、是不是外表（external）等。 示例 用指定列的查询结果创建新表orders_column_aliased： CREATE TABLE o
批一体方案的设计与开发方面的规则，适用于Hudi开发场景的表的设计、管理与作业开发。 主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试）。如果能
cu_number 否 Integer 用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
