检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户自定义的依赖程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型选择“jar”，具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中，并在“数据管理>程序包管理”中创
SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列，影响当前运行的作业。 重启队列后，影响F1原有功能，F1的功能变为和F2一样。 场景二 在原有程序包类的基础上新增了类，新创建的函数指定为新增的类，包名不变。 在Spark SQL队列下已创建自定义函数F1，指定类名C1，Jar包名J1。
eral_test”，在操作列，单击“更多 > 测试地址连通性”。 在“测试连通性”界面，根据5中获取的RDS连接信息，地址栏输入“RDS内网地址:RDS数据库端口”，单击“测试”测试到RDS网络是否可达。 步骤四：运行作业 本示例通过在弹性资源池队列上运行一个Flink SQL举例演示。
Flink SQL作业运行失败，日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be null错误 问题现象 在DLI上提交Flink SQL作业，作业运行失败，在作业日志中有如下报错信息：
解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许同时有多个作业在同一时间点对相同表进行读写操作，否则会造成作业冲突，导致作业运行失败。 父主题： SQL作业运维类
在DLI控制台删除数据库 根据实际使用情况，您可以通过删除数据库。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、数据库的所有者和具有删除数据库权限的用户可以删除数据库。 数据库和表删除后，将不可恢复，请谨慎操作。 删除数据库 在管理控制台左侧，单击“数据管理”>“库表管理”。
Jar类型的作业前，需要将程序包上传至OBS，然后在DLI服务中创建程序包，并将程序包与数据和作业参数一起提交以运行作业。管理Jar作业程序包。 Spark3.3.1及以上版本、Flink1.15及以上版本在创建Jar作业时支持直接配置OBS中的程序包，不支持读取DLI程序包。 使用CES监控DLI服务
Flink在写Hudi的MOR表只会生成log文件，后续通过compaction操作，将log文件转为parquet文件。Spark在更新Hudi表时严重依赖parquet文件是否存在，如果当前Hudi表写的是log文件，采用Spark写入就会导致重复数据的产生。在批量初始化阶段
（可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组
Jar作业。在Spark作业管理界面显示已提交的作业运行状态。 图13 查看作业运行状态 步骤8：查看作业运行结果 在Spark作业管理界面显示已提交的作业运行状态。初始状态显示为“启动中”。 如果作业运行成功则作业状态显示为“已成功”，通过以下操作查看创建的数据库和表。 可以在DLI
（可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组
怎样查看DLI队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。
上传分组资源（废弃） 功能介绍 该API用于上传分组资源到某个project下。该API对应控制台的创建程序包功能。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v2.0/{project_id}/resources
DLI管理控制台的“数据管理>程序包管理”中创建程序包，具体操作请参考创建DLI程序包。 Spark3.3.x及以上版本只能选择OBS路径下的程序包。 主类（--class） 输入主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 应用程序参数 用户自定义参数，多个参数请以Enter键分隔。
（可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组
入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件
Spark表数据维护规范 禁止通过Alter命令修改表关键属性信息：type/primaryKey/preCombineField/hoodie.index.type 错误示例，执行如下语句修改表关键属性： alter table dsrTable set tblproperties('type'='xx');
其他依赖文件 用户自定义的依赖文件。其他依赖文件需要自行在代码中引用。 在选择依赖文件之前需要将对应的文件上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型没有限制。具体操作请参考创建程序包。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中，“fileNa
Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI整理了Spark2.4.x与Spark3.3.x版本在通用队列的差异，便于您了解Spark版本升级后通用队列上运行的作业在适配新版本引擎时的影响。 log4j依赖从1.x版本修改为2.x版本 说明： log4j依赖从1
修改组或资源包拥有者（废弃） 功能介绍 该API用于修改程序包的owner。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： PUT /v2.0/{project_id}/resources/owner 参数说明 表1 URI参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
