检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=value”的形式列出，配置项之间以“;”隔开，这些配置项也可以通过Info对象传入。 Info Info传入自定义的配置项,若Info没有属性项传入，可设为null。配置格式为：info.setProperty("属性项"
操作流程。 配置DLI与数据源网络连通：您可以参考配置DLI与数据源网络连通（增强型跨源连接）配置DLI与数据源的网络连通。 管理DLI具数据源的访问凭证： Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认
在“程序包管理”页面，单击右上角的“创建程序包”。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图12 创建程序包 步骤7：创建Spark Jar作业
SQL作业如何指定表的部分字段进行表数据的插入 SQL作业运行慢如何定位 怎样查看DLI SQL日志？ 怎样查看DLI的执行SQL记录？ 执行SQL作业时产生数据倾斜怎么办？ SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 为什么SQL作业一直处于“提交中”？ 父主题： SQL作业类
分别存放了Spark-submit相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录，修改“client.properties”中的配置项，（具体配置项参考表1）。 表1 DLI 客户端工具配置参数 属性项 必须配置 默认值 描述 dliEndPont 否 - DLI服务的域名。
参数填写完成后，单击“立即购买”，在界面上确认当前配置是否正确。 单击“提交”完成弹性资源池的创建。 在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名称 参数说明 名称 弹性资源池添加的队列名称。
只有admin用户创建作业的权限，同时用户还需要拥有该作业使用的相关程序包组权限或者程序包权限。 编辑作业 编辑作业时，用户需要拥有更新作业的权限，同时用户还需要拥有该作业使用的相关程序包所属组权限或者程序包权限。 父主题： 使用DLI提交Flink作业
描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型： 提示：配置系统对SQL请求满足防御规则后是否进行日志记录和提示处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 拦截：配置系统对SQL请求满足防御规则后是否进行拦截
Delta常见配置参数 提交DLI Spark SQL作业时，在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
在“程序包管理”页面，单击右上角的“创建程序包”。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图12 创建程序包 步骤7：创建Spark Jar作业
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推
SQL队列：16CUs DLI套餐包使用约束限制 套餐包购买后区域固定无法更换，购买的套餐只能在绑定的区域使用，不能在非绑定区域使用。 套餐包购买后不支持退订。 计费时优先使用套餐中的资源，套餐中资源使用完后，超出部分按需付费。 套餐包不支持抵扣已使用的资源。 套餐包到期后，按需资源不会自动关闭，将会以按需付费的方式继续使用。
云。 子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 如果是连接MRS
配置DLI与数据源网络连通（增强型跨源连接） 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 DLI常用跨源分析开发方式 父主题： 配置DLI读写外部数据源数据
实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，获取“clientPort”的参数值即为ZooKeeper的端口。 zookeeper.znode
实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，获取“clientPort”的参数值即为ZooKeeper的端口。 zookeeper.znode
依据的DLI分区表。在TBLPROPERTIES中配置dli.multi.version.enable、comment、orc.compress和auto.purge。 dli.multi.version.enable：本例配置为true，即代表开启DLI数据多版本功能，用于表数据的备份与恢复。
Spark作业编辑页面 对于依赖的这个Python第三方库的压缩包有一定的结构要求，例如，PySpark程序依赖了模块moduleA（import moduleA），那么其压缩包要求满足如下结构： 图2 压缩包结构要求 即在压缩包内有一层以模块名命名的文件夹，然后才是对应类的Python
part2='v2') select * from ... 在“数据湖探索管理控制台>SQL编辑器”页面，单击编辑窗口右上角“设置”，可配置参数。 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同时，为了避免数据倾
15版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Flink jar作业编辑界面，选择配置优化参数，配置信息如下: 不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
