数据湖探索 DLI-使用自定义镜像增强作业运行环境:创建自定义镜像
创建 自定义镜像
以tensorflow为例,说明如何将tensorflow打包进镜像,生成安装了tensorflow的自定义镜像,在 DLI 作业中使用该镜像运行作业。
- 准备容器环境。
请参考安装容器引擎文档中的“安装容器引擎”章节。
- 使用root用户登录1容器镜像环境,执行以下命令获取DLI的基础镜像。
本示例使用Spark基础镜像为例,使用docker pull方式下载基础镜像到1中的容器镜像环境。
docker pull 基础镜像下载地址
基础镜像下载地址参考使用自定义镜像增强作业运行环境。
示例,Spark基础镜像下载:docker pull swr.xxx/dli-public/spark_general-x86_64:3.3.1-2.3.7.1720240419835647952528832.202404250955
- 连接 容器镜像服务 。
- 登录SWR管理控制台。
- 选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。
- 在安装容器引擎的虚拟机中执行上一步复制的登录指令。
- 创建容器镜像组织。如果已创建组织则本步骤可以忽略。
- 登录SWR管理控制台。
- 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。
- 填写组织名称,单击“确定”。
- 编写Dockerfile文件。
vi Dockerfile
具体内容参考如下,将tensorflow打包进镜像:
ARG BASE_IMG=swr.xxx/dli-public/spark_general-x86_64:3.3.1-2.3.7.1720240419835647952528832.202404250955//请替换基础镜像的URL FROM ${BASE_IMG} as builder USER omm //注意要使用omm用户执行。 RUN set -ex && \ mkdir -p /home/omm/.pip && \ pip3 install tensorflow==1.13.1 \ --user --no-cache-dir --trusted-host pypi.cloudartifact.dgg.dragon.tools.huawei.com \ -i https://pypi.cloudartifact.dgg.dragon.tools.huawei.com/artifactory/api/pypi/cbu-pypi-public/simple 内容复制到基础镜像中 USER omm
其中,主要包含了以下步骤:
- 设置pip的可用仓库地址。
- 使用pip3安装tensorflow算法包。
- 将安装了算法包的临时镜像builder里的内容复制到基础镜像中(这一步主要是为了减小镜像体积),用于生成最终的自定义镜像。
- 利用Dockerfile生成自定义镜像。
镜像打包命令格式:
docker build -t [自定义组织名称]/[自定义镜像名称]:[自定义镜像版本] --build-arg BASE_IMG=[DLI基础镜像地址] -f Dockerfile .
DLI基础镜像地址为获取DLI基础镜像中的镜像地址。
示例:docker build -t mydli/spark:2.4 --build-arg BASE_IMG=swr.xxx/dli-public/spark_general-x86_64:3.3.1-2.3.7.1720240419835647952528832.202404250955 -f Dockerfile .
- 给自定义镜像打标签。
docker tag 6中的[自定义组织名称]/[自定义镜像名称]:[自定义镜像版本] [镜像仓库地址]/[组织名称]/[自定义镜像名称:自定义版本名称]
示例:docker tag mydli/spark:2.4 swr.xxx/testdli0617/spark:2.4.5.tensorflow
- 上传自定义镜像。
docker push [镜像仓库地址]/[组织名称]/[自定义镜像名称:自定义版本名称]
上述命令中的“[镜像仓库地址]/[组织名称]/[自定义镜像名称:自定义版本名称]”保持和7一致。
示例:docker push swr.xxx/testdli0617/spark:2.4.5.tensorflow
- 在DLI服务中提交Spark或者Flink jar作业时选择自定义镜像。
- 打开管理控制台的Spark作业或者Flink作业编辑页面,在自定义镜像列表中选择已上传并共享的镜像,运行作业,即可使用自定义镜像运行作业。
如果选择的镜像不是共享镜像,自定义镜像处会提示该镜像未授权,则需要授权后才可以使用。具体可以参考图3,提示处单击“立即授权”即可,填写其他作业执行参数后,再执行作业。图2 在DLI Spark作业编辑页面,选择自定义镜像
图4 在DLI Flink jar作业编辑页面,选择自定义镜像
- 在使用API时,在作业参数中指定image参数,即可使用自定义镜像运行作业。Spark作业请参考《创建批处理作业》,Flink jar作业请参考《创建Flink Jar作业》。
- 打开管理控制台的Spark作业或者Flink作业编辑页面,在自定义镜像列表中选择已上传并共享的镜像,运行作业,即可使用自定义镜像运行作业。
- ModelArts自定义镜像_自定义镜像简介_如何使用自定义镜像
- ModelArts推理部署_创建AI应用_自定义镜像规范-华为云
- 容器镜像创建用户并授权使用SWR_华为云SWR_容器镜像创建授权
- 什么是跨源连接-数据湖探索DLI跨源连接
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- ModelArts模型训练_创建训练作业_如何创建训练作业
- ModelArts推理部署_模型_AI应用来源-华为云
- 如何使用应用管理与运维平台环境管理功能_环境管理_创建环境_纳管资源
- 华为GaussDB自定义函数_GaussDB教程_华为高斯数据库自定义函数
- GaussDB数据库自定义函数_GaussDB 华为_高斯数据库自定义函数