检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源开通DLI队列和Kafka集群的连接）。 kafka_topic 是 写入的topic。 encode 是 编码格式，当前支持“json”和“user_defined”。 若编码格式为“user_defined”，则需配置“encode_class_name”和“encode_class_parameter”属性。
创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle，且仅按需专属队列和包周期队列支持增强型跨源。因此仅按需专属队列和包周期队列支持在SQL作业中连接Oracle数据库。 语法格式 1 2 3 4 5 6 7 8 9 CREATE TABLE
PC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
PC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。 配置DLI作业桶 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。 在“工程配置”页面，选择“DLI作业桶”，单击配置桶信息。 图1 工程配置 单击打开桶列表。 选择用于存放DLI作业临时数据的桶，并单击“确定”。
队列管理”页面，单击左上角“创建消息通知主题”。 图1 创建消息通知主题 选择队列，单击“确定”。 选择队列时，可以选择单个队列，也可以选择所有队列。 如果单个队列和所有队列的终端不一致，当选择了单个队列，同时选择了所有队列进行订阅时，在所有队列的消息通知中将不包含该队列的消息。 创建消息通知主题后，只有在订阅队列
对增强型跨源连接“ds”进行绑定队列操作。 （可选）设置主机信息，创建路由。 通过上述操作项目A的增强型跨源连接与项目B的队列创建了对等连接和路由，即可在项目B的队列上创建作业访问项目A的数据源。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。
Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台，单击左侧“作业管理”>“Spark作业”，在作业列表中找到需要查看的Spark作业，单击“作业ID”前的，即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时，配置了“高级配置”中的参数，此处才会显示对应的
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务，不提供下载功能。 如何使用API通过公网访问DLI？ DLI域名公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。
”时，该参数有效。 说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 在创建Source S
”时，该参数有效。 说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 在创建Source S
可以在增强型跨源连接页面绑定弹性资源池。本节的操作指导介绍增强型跨源连接绑定弹性资源池的操作指导。 约束限制 增强型跨源仅支持包年包月队列和按需专属的弹性资源池/队列。 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 操作步骤 登录DLI管理控制台。
删除增强型跨源连接 操作场景 本节操作介绍在控制台删除不再使用的增强型跨源连接的操作步骤。 操作步骤 登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待删除的增强型跨源连接，单击操作列的“删除”。 单击“是”，删除增强型跨源连接。 父主题： 管理增强型跨源连接
使用该特性需具备以下条件： 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 提交工单申请开启查询结果写入桶特性的白名单。 如果使用maven构建，加入huaweicloud-dli-jdbc依赖的maven配置项为： 1 2 3 4 5 <dependency>
版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 2.4.5。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
注意：只有当用户开启动态扩缩时，该配置才有意义。 flink.dli.job.cu.max 用户CU初始值 该配置表示当前作业在进行动态扩缩时允许使用的最大CU数，如果用户未配置则默认值为该作业的初始总CU数。 注意：该配置值不能小于用户配置的总CU数，且只有当用户开启动态扩缩时，该配置才有意义。 flink
Jar作业最小化提交是指Flink仅提交作业必须的依赖项，而不是整个Flink环境。通过将非Connector的Flink依赖项（以flink-开头）和第三方库（如Hadoop、Hive、Hudi、Mysql-cdc）的作用域设置为provided，可以确保这些依赖项不会被包含在Jar作业中
”时，该参数有效。 说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 在创建Source S
”时，该参数有效。 说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。 注意事项 在创建Source S
Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权，导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
