检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源，并使用DLI访问资源。 前提条件 账号A已配置DLI云服务委托，且委托需包含DLI Datasource Connections Agency Access，具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置DLI云服务委托权限。 作为资源所有者的账号A已
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权，导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI
络。 测试网络连通性：验证队列与数据源网络连通性。 目前DLI支持跨源访问的数据源请参考DLI常用跨源分析开发方式。 在跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来
连接相关配置无效。 true index相关配置 表3 index相关参数配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名，索引类必须为HoodieIndex的子类，当指定该配置时，其会优先于hoodie.index.type配置。 "" hoodie
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
配置DLI云服务委托权限 使用DLI服务前请先配置DLI云服务权限。 本节操作适用于以下场景： 首次使用DLI服务，请参考本节操作按需配置DLI云服务委托权限。 使用DLI的过程中需要与其他云服务协同工作，因此需要您将部分服务的操作权限委托给DLI服务，确保DLI具备基本使用的权
操作、消息通知、用户授权操作所需的权限。配置DLI云服务委托权限。 使用Flink 1.15和Spark 3.3.1（Spark通用队列场景）及以上版本的引擎执行作业时，需完成以下配置操作： 需用户自行在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。具体操作请参考创建DLI自定义委托权限。
增强型跨源连接相关API（废弃） 创建路由（废弃） 删除路由（废弃） 父主题： 历史API
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1
创建增强型跨源连接 删除增强型跨源连接 查询增强型跨源连接列表 查询增强型跨源连接 绑定队列 解绑队列 修改主机信息 查询增强型跨源授权信息 创建路由 删除路由
任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔，例如1小时左右生成一个Compaction计划的话，执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源，v
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 iii. 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 iii. 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推
图2 添加订阅 登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 /
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 iii. 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
云。 子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 如果是连接MRS
Delta常见配置参数 提交DLI Spark SQL作业时，在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 iii. 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
