检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 根据实际需求编辑作业。 具体请参考创建Flink OpenSource SQL作业，创建Flink Jar作业。 启动作业 用户可以启动已创建保存的作业或已经停止的作业。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。
kind：资源包类型，当前支持的包类型分别为： jar：用户jar文件 pyfile：用户Python文件 file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}.{obs域名}/{jarPath}/{jarName}。
场景三 原有程序包类的实现逻辑不变，重新打包程序包名。新创建的函数指定新JAR包名，类名保持不变。 在Spark SQL队列下已创建自定义函数F1，指定类名C1，Jar包名J1。 重新打包Jar包为J2，功能逻辑不变。新创建的自定义函数F2，指定类名C1，Jar包名J2。 新创建的自定义函数F2立即生效
Oracle用户名密码。 resource Oracle驱动包的OBS路径。 例如：obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver jar包如果被更新，需要重启队列，才会生效。 示例 创建Oracle跨源表
首次创建RDS MySQL数据库连接时需要上传MySQL的驱动，单击“连接管理 > 驱动管理”，进入驱动管理界面。 参考CDM管理驱动下载MySQL的驱动包到本地，将下载后驱动包本地解压，获取驱动的jar包文件。 例如，当前下载MySQL驱动包压缩文件为“mysql-connector-java-5
或更高版本，推荐使用 Python 3.8 获取dli-dbt驱动包： 单击dli-jdbc-x.x.x.jar获取JDBC驱动，驱动名称：huaweicloud-dli-jdbc-xxx-dependencies.jar。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI
对于依赖的这个Python第三方库的压缩包有一定的结构要求，例如，PySpark程序依赖了模块moduleA（import moduleA），那么其压缩包要求满足如下结构： 图2 压缩包结构要求 即在压缩包内有一层以模块名命名的文件夹，然后才是对应类的Python文件，通常下载下来的Python库可
提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。 提交DLI Spark jar作业时，Hudi参数可以通过Spark datasource API的option来配置。 或者，在提交作业时配置到"Spark参数(--conf)"
数据格式问题。 排查客户实际数据，发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。 有两种方式解决此问题： 通过udf成jar包的形式 修改配置 修改源数据格式，再次执行作业，无问题。 父主题： Flink SQL作业类
on_xx下生成运行日志。 另外，由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依赖包，或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件（例如l：“log4j
“2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf jar包通过该参数传入。 manager_cu_number 否 Integer 用户为作业选
不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业，即jar包作业。 使用流程 图1 自定义镜像使用流程 获取DLI基础镜像。 使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自定义镜像。 将镜像发布到SWR（容器镜像服务）中。
在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
7或以上版本，并配置环境变量。 参考下载并安装JDBC驱动包章节，获取DLI JDBC驱动包“huaweicloud-dli-jdbc-<version>.zip”，解压，获得“huaweicloud-dli-jdbc-<version>-jar-with-dependencies.jar”。 在使用J
在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。
ided，可以确保这些依赖项不会被包含在Jar作业中，从而实现最小化提交，避免依赖包与flink内核中依赖包冲突： 仅Flink 1.15版本支持Flink Jar作业最小化提交，通过在运行优化参数中配置flink.dli.job.jar.minimize-submission.
DLI Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本？ DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。
时，可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载，从中获取mysql-connector-java-5
Flink作业如何保存作业日志？ 在创建Flink SQL作业或者Flink Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OB
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
