检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为：jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint；在华为云页面上方菜单栏，单击用户名，然后在“我的凭证”页面获取项目编号。
Livy工具配置文件 上传指定的DLI Livy工具jar资源包到OBS桶路径下。 登录OBS控制台，在指定的OBS桶下创建一个存放Livy工具jar包的资源目录。例如：“obs://bucket/livy/jars/”。 进入3.a中DLI Livy工具所在ECS服务器的安装目录，获取以下jar包，将获取的jar包上传到1
x版本在SQL队列的差异对比 DLI整理了Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异，便于您了解Spark版本升级后SQL队列上运行的作业在适配新版本引擎时的影响。 histogram_numeric函数的返回值的类型不同 说明： Spark SQL中的histo
API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若API为异步操作，可根据响应消息中的“job_id”，执行查询作业状态API，从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用，SDK的使用方法请参见华为云开发工具包（SDK）。
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统
标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标签
DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系
操作场景 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标
您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。 按时间分割：每过一小时自动创建新的日志文件。 前提条件
OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录，否则清空表数据的时候，就会把根目录内的数据全部清除，导致数据丢失。 with_column_header
如果使用MRS Doris，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证（普通模式）。 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。 注意事项 创建Flink
OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件，由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 7 验证和使用DLI的UDAF函数
时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队
field：进行分桶时计算Hash值的字段，必须为主键的子集，默认为Hudi表的主键。该参数不填则默认为recordkey.field。 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
中优先抵扣弹性资源池CU时套餐包的规格额度，超过额度的使用量按需计费。弹性资源池的CU时套餐包的额度每个月会重置。 弹性资源池单个计费周期内小于1CU的向上取整。 弹性资源池扩缩容的开始时间点是以实际扩缩容成功后时间点开始计算，不是按照扩缩容配置的时间开始计费。 弹性资源池队列扩
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
在到期前续费成功，所有资源得以保留，且作业的运行不受影响。资源到期后的状态说明，请参见到期后影响（适用于包年/包月计费模式）。 续费相关的功能 包年/包月的DLI资源续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月的DLI资源从购买到被自动删除之前，您
创建VPC和子网的操作指导请参考创建虚拟私有云和子网，如果需要在已有VPC上创建和使用新的子网，请参考为虚拟私有云创建新的子网。 创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时，如无特殊需求，配置参数使用默认配置即可。 创建安全组的操作指导请参考创建安
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
