检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
States、Gradient、Model Parameter分布到不同的NPU 增加卡数重新训练，未解决找相关人员定位。 问题2：访问容器目录时提示Permission denied 由于在容器中没有相应目录的权限，会导致访问时提示Permission denied。可以在宿主机中对相关目录做权限放开，执行命令如下。
Step3 启动训练脚本 修改超参值后，再启动训练脚本。其中 Llama2-70b建议为4机32卡训练。 多机启动 以 Llama2-70b为例，多台机器执行训练启动命令如下。进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。 示例：
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保容器内通网，未通网需要配置$config_proxy_str，$config_pip_s
json文件中apis定义的url一致，当镜像启动时可以直接访问。下面是mnist镜像的访问示例，该镜像内含mnist数据集训练的模型，可以识别手写数字。其中listen_ip为容器IP，您可以通过启动自定义镜像，在容器中获取容器IP。 请求示例 curl -X POST \
_train/AscendFactory 构建新镜像： docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理，增加`--build-arg`参数指定代理地址确保访问公网。 docker build --build-arg "https_proxy=http://xxx
Standard平台上进行训练。镜像中使用的AI引擎是Pytorch，训练使用的资源是CPU或GPU。 面向熟悉代码编写和调测的AI工程师，同时熟悉docker容器知识 从 0 制作自定义镜像并用于训练（MindSpore+Ascend） 本案例介绍如何从0开始制作镜像，并使用该镜像在ModelArts
互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 如果无法访问公网，则可以配置代理，增加`--build-arg`参数指定代理地址，可访问公网。 docker build --build-arg "https_proxy=http://xxx
互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 如果无法访问公网，则可以配置代理，增加`--build-arg`参数指定代理地址，可访问公网。 docker build --build-arg "https_proxy=http://xxx
镜像过大，卸载原来的包重新打包镜像，最终镜像会变小吗？ 不会，反而会变大。因为Docker镜像的层原因，当前的镜像是基于原来的镜像制作，而原来的镜像层数是无法改变的，层不变的情况下，大小是不变的，卸载包或者删除数据集，会新增镜像层，镜像反而会变大，这和传统概念的存储不一样。 父主题：
/home/ma-user/ws/llm_train/LLaMAFactory 构建新镜像： docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理，增加`--build-arg`参数指定代理地址确保访问公网。 docker build --build-arg "https_proxy=http://xxx
执行如下命令，根据“config.yaml”创建并启动pod。容器启动后会自动执行训练作业。 kubectl apply -f config.yaml 执行如下命令，检查pod启动情况。如果显示“1/1 running”状态代表启动成功。 kubectl get pod 图3 启动成功的回显 执行如下命令
自定义镜像功能关联服务介绍 容器镜像服务 容器镜像服务（Software Repository for Container，SWR）是一种支持镜像全生命周期管理的服务， 提供简单易用、安全可靠的镜像管理功能，帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。
训练启动脚本说明和参数配置【旧】 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节，构建容器镜像并调试，镜像构建及调试与单机单卡相同。 上传镜像，参考单机单卡训练的上传镜像章节操作。 操作步骤 登录Imagenet数
包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
下载驱动 参考如下Dockerfile中，以在容器镜像中安装infiniband驱动。 USER root # copy MLNX_OFED_LINUX-4.3-1.0.1.0-ubuntu16.04-x86_64.tgz to docker image RUN tar xzvf MLNX_OFED_LINUX-4
准备镜像 构建容器镜像并调试 镜像构建及调试与单机单卡相同。 具体操作，请参考线下容器镜像构建及调试。 上传镜像 请参考单机单卡训练的上传镜像章节操作。 父主题： 单机多卡
Label名字 Label描述 容器级别指标 pod_name 容器所属pod的名字。 pod_id 容器所属pod的ID。 node_ip 容器所属的节点IP值。 container_id 容器ID。 cluster_id 集群ID。 cluster_name 集群名称。 container_name
户使用该方式进行训练。 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
