检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DockerFile构建镜像（可选） 本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/AscendFactory
un_vllm.sh\": permission denied" 解决方法：修改AscendCloud-6.3.907-xxx.zip压缩包中llm_inference/ascend_vllm/build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm
ckerfile文件，需要去掉模型文件目录下存在dockerfile文件。 图2 构建日志：dockerfile文件目录有问题 pip软件包版本不匹配，需要修改为日志中打印的存在的版本。 图3 pip版本不匹配 构建日志中出现报错：“exec /usr/bin/sh: exec format
式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环境。但基础镜像中pip依赖包缺少或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建
式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环境。但基础镜像中pip依赖包缺少或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建
docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx.zip和算子包AscendCloud-OPP-xxx.zip到容器中，包获取路径请参见表1。 将权重文件上传到Server机器中。权重
式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环境。但基础镜像中pip依赖包缺少或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建
式（二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环境。但基础镜像中pip依赖包缺少或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建
此处介绍如何通过编写Dockerfile文件制作自定义镜像的操作步骤 。 安装Docker。 以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL get.docker
得到的模型创建为模型，用于部署服务。 从OBS中导入模型文件创建模型：如果您使用常用框架在本地完成模型开发和训练，可以将本地的模型按照模型包规范上传至OBS桶中，从OBS将模型导入至ModelArts中，创建为模型，直接用于部署服务。 从容器镜像中导入模型文件创建模型：针对Mod
此处介绍如何通过编写Dockerfile文件制作自定义镜像的操作步骤 。 安装Docker。 以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。 curl -fsSL get.docker
pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.907-xxx.zip和算子包AscendCloud-OPP-6.3.907-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到Server
如果不正确请按上面格式修改后继续排查。 查看密钥文件的路径，建议放在C:\Users\{user}\.ssh下，并确保密钥文件无中文字符。 排查插件包是否为最新版：在extensions中搜索，看是否需要升级。检查Remote-ssh三方插件是否兼容。 4. 检查本地Vscode是否为最新
行安装脚本install.sh。 cd msit/msmodelslim bash install.sh 执行install过程会下载依赖包，因此需要确保能够访问到pip源。 进入到msit/msmodelslim/example/DeepSeek目录，执行转换命令。 BF16权
表1 规格说明 资源类型 规格 说明 计算资源 所有按需计费、包年/包月、套餐包中的计算资源规格，包括CPU、GPU和NPU 购买的所有类型的计算资源均不支持跨Region使用。 计算资源 套餐包 套餐包仅用于公共资源池，不能用于专属资源池。 配额限制 查看每个配额项目支持的默认配
1所示。 图1 训练作业的自定义镜像制作流程 场景一：预置镜像满足ModelArts训练平台约束，但不满足代码依赖的要求，需要额外安装软件包。 具体案例参考使用预置镜像制作自定义镜像用于训练模型。 场景二：已有本地镜像满足代码依赖的要求，但是不满足ModelArts训练平台约束，需要适配。
容器内挂载的目录 例如： sudo chown -R ma-user:ma-group /home/ma-user/ws 安装依赖包。 #进入scripts目录，xxx为包版本，请按照实际情况替换 cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/scripts
yte.gz”：训练集的压缩包文件，共包含60000个样本。 “train-labels-idx1-ubyte.gz”：训练集标签的压缩包文件，共包含60000个样本的类别标签。 “t10k-images-idx3-ubyte.gz”：验证集的压缩包文件，共包含10000个样本。
yte.gz”：训练集的压缩包文件，共包含60000个样本。 “train-labels-idx1-ubyte.gz”：训练集标签的压缩包文件，共包含60000个样本的类别标签。 “t10k-images-idx3-ubyte.gz”：验证集的压缩包文件，共包含10000个样本。
（可二选一）来部署训练环境。方案的区别如下： 直接使用基础镜像方案：用户可在训练作业中直接选择基础镜像作为运行环境。但基础镜像中pip依赖包缺少或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行 install.sh 文件，来安装依赖以及下载完整代码。 ECS中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
