检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例，Spark基础镜像下载： docker pull swr.xxx/dli-public/spark_general-x86_64:3.3.1-2.3.7.1720240419835647952528832.202404250955 连接容器镜像服务。
拉取Superset Docker镜像： docker pull apache/superset 启动Superset容器： docker run -p 8088:8088 apache/superset 启动Superset容器，并将容器的8088端口映射到宿主机的8088端口。
区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
feature 否 String 队列的镜像类型。支持以下两种类型： basic：基础型 ai：AI增强型（仅SQL的x86_64专属队列支持选择） 默认值为“basic”。 说明： AI增强型即队列加载了AI镜像，该镜像在基础镜像的基础上集成了AI相关的算法包。
DLI依赖SDK（例如，OBS SDK），可以通过配置华为云的maven镜像源仓库下载。 （推荐）以华为镜像源作为主仓库： 配置华为maven镜像源的具体方法可参见：华为开源镜像站>选择“华为SDK”>单击“HuaweiCloud SDK”。
图2 连接DLI 在Connect Cluster页面中，填写作业运行的相关信息。 图3 Connect Cluster 表1 Connect Cluster 参数名称 说明 配置样例 Service Type 连接的服务名称。
image String 自定义镜像。格式为：组织名/镜像名:镜像版本。 queue String 用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。 说明： 兼容“cluster_name”参数，即如果使用“cluster_name”指定队列仍然有效。
feature 否 String 队列使用的镜像类型。支持以下两种类型： basic：基础型 ai：AI增强型（仅SQL的x86_64专属队列支持选择） 默认值为“basic”。 说明： AI增强型即队列加载了AI镜像，该镜像在基础镜像的基础上集成了AI相关的算法包。
用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。
DLI自定义的Spark3.1.1镜像，需要把第三方依赖jar放到哪个路径下呢？ DLI自定义的Spark3.1.1镜像，建议将第三方依赖jar存放/opt/spark/jars目录。 父主题： Spark作业开发类
shared_cluster：共享 exclusive_cluster：独享 edge_node：边缘节点 job_config 否 Object 作业配置。 “show_detail”为“false”时独有。具体参数说明请参见表6。
success String 批处理作业执行成功。 recovering String 批处理作业正在恢复。
用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。
image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。 req_body 否 String 请求参数详情。
ClassName.class.getClassLoader().getResource("userData/fileName") 作业特性 队列为CCE队列时，显示该参数。 基础型 自定义镜像：选择镜像名称和镜像版本。用户可在“容器镜像服务”设置的镜像。
image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
您还可以通过自定义镜像增强DLI的计算环境，通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像中，可以改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。
表示用户作业使用的Spark镜像类型。 basic：表示使用DLI提供的基础Spark镜像。 custom：表示使用用户自定义的Spark镜像。 ai：表示使用DLI提供的AI镜像。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
