检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了扫描数据量套餐包，按需使用过程中优先抵扣扫描数据量套餐包的规格额度，超过扫描数据量套餐包额度的按照按需计费。扫描数据量套餐的额度每个月会重置。 套餐包使用示例请参考套餐包计费。
java:2662) ... 32 common frames omitted 原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为： <dependency>
如果您上传的Jar包中包含DLI Flink运行平台中已经存在的包，则会提示Flink Jar 包冲突，导致作用提交失败。 请参考DLI用户指南中提供的依赖包信息先将重复的包删除后再上传。 DLI内置依赖包请参考《数据湖探索用户指南》。 父主题： Flink Jar作业类
想要使用扫描套餐包计费，购买队列还要额外收费吗？ 按数据扫描量计费是针对默认default 队列，即使用default队列时，是按扫描量计费。 您单独购买的队列 ，可选择按需计费（按CU时计费）或包年包月计费。 具体的计费模式请参考：计费说明。 父主题： 计费相关问题
创建DLI程序包 DLI支持用户通过批处理方式将程序包提交至通用队列中运行。 如果用户需要更新程序包，可以使用相同的程序包或文件上传至DLI的同一个位置（同一个分组），直接覆盖原有的程序包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制
该用户名称是已存在的IAM用户名称。 权限设置 使用程序包：使用该程序包。 更新程序包：更新该程序包。 查询程序包：查询该程序包。 删除程序包：删除该程序包。 赋权：当前用户可将程序包的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该程序包的权限，但不能回收该程序包所有者的权限。 查看其他用户具备
jar作业jar包时，请不要上传平台已有的依赖包，以免与平台内置依赖包冲突。内置依赖包信息请参考DLI内置依赖包。 约束与限制 程序包支持删除，但不支持删除程序包组。 支持上传的程序包类型： JAR：用户jar文件。 PyFile：用户Python文件。 File：用户文件。 ModelFile：用户AI模型文件。
jar_path 格式 无。 说明 jar包路径，该路径可以是本地路径也可以是HDFS路径。 父主题： 标示符
管理Jar作业程序包 程序包管理概述 创建DLI程序包 配置DLI程序包权限 修改DLI程序包所有者 DLI程序包标签管理 DLI内置依赖包 父主题： DLI常用管理操作
修改DLI Livy工具配置文件 上传指定的DLI Livy工具jar资源包到OBS桶路径下。 登录OBS控制台，在指定的OBS桶下创建一个存放Livy工具jar包的资源目录。例如：“obs://bucket/livy/jars/”。 进入3.a中DLI Livy工具所在ECS服务器
DLI程序包标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对程序包组或程序包添加标签。 在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包，单击操作列的“更多 > 标签”，显示当前程序包组或程序包的标签信息。
修改程序包所有者 如果该程序包没有进行过分组设置，则可以参考下图，直接修改该程序包的所有者。 图2 程序包管理-修改程序包所有者 表1 参数说明 参数名称 描述 分组名称 如果创建程序包时选择了分组，显示所在的分组名称。 如果创建程序包时没有选择分组，则不显示该参数。 名称 程序包名称。
ize，Flink Jar作业就可以添加参数-windowsSize {{windowsize}}。 依赖jar包 用户自定义的依赖程序包。依赖的相关程序包将会被放置到集群classpath下。 Jar包的管理方式： 上传OBS管理程序包：提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。
mit工具。 下载并解压工具包“dli-clientkit-<version>-bin.tar.gz”，其中version为版本号，以实际版本号为准。 进入解压目录，里面有三个子目录bin、conf、lib，分别存放了Spark-submit相关的执行脚本、配置文件和依赖包。 进
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
使用DLI提交Spark Jar作业 操作场景 DLI允许用户提交编译为Jar包的Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前，将程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业。
Flink Jar作业运行报错，报错信息为Authentication failed 问题现象 Flink Jar作业运行异常，作业日志中有如下报错信息： org.apache.flink.shaded.curator.org.apache.curator.ConnectionState
确认所用AKSK是否有权限。 设置依赖关系provided防止Jar包冲突。 确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖，否则checkpoint会写不进OBS。
Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
