检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Python依赖包本地安装：进入pip文件所在的路径，并运行安装命令。如下列所示。 pip install numpy pip install transformers_stream_generator ... 代码安装：访问 scripts/install.sh 文件，在最后执行的命令中需要分别进入ModelLi
R}:${PYTHONPATH} 选择的启动文件将会被系统自动以python命令直接启动，因此请确保镜像中的Python命令为您预期的Python环境。通过系统自动注入的PATH环境变量，可以参考下述命令确认训练作业最终使用的Python版本。 export MA_HOME=/home/ma-user;
Notebook中安装依赖包并保存镜像 在后续训练步骤中，训练作业启动命令中包含sh scripts/install.sh，该命令用于git clone完整的代码包和安装必要的依赖包，每次启动训练作业时会执行该命令安装。 通过运行install.sh脚本，会git clone下载M
“数据校验”表示对数据集进行校验，保证数据合法。 “数据清洗”表示对数据进行去噪、纠错或补全的过程。 “数据选择”表示从全量数据中选择数据子集的过程。 “数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl
Python依赖包本地安装：进入pip文件所在的路径，并运行安装命令。如下列所示。 pip install numpy pip install transformers_stream_generator ... 代码安装：访问 scripts/install.sh 文件，在最后执行的命令中需要分别进入ModelLi
在Notebook实例详情页，查看实例的存储容量。 执行如下命令，排查虚拟机所使用的存储空间，一般接近存储容量，请排查回收站占用内存。 cd /home/ma-user/work du -h --max-depth 0 执行如下命令，排查回收站占用内存（回收站文件默认在/home/ma-user/work/
为了和Notebook调试时代码路径一致，保持相同的启动命令，因此云上挂载路径需要填写为“/home/ma-user/work”。 单击“提交”，在“信息确认”页面，确认训练作业的参数信息，确认无误后单击“确定”。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需
行管理命令。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互，使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等，具体参见ModelArts CLI命令参考。
/home/ma-user/ws/llm_train/LLaMAFactory/demo.yaml 执行多机启动命令（可选） 多台机器执行训练启动命令如下。 多机执行命令为：sh demo.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0>
s_data.sh脚本，将执行的python命令复制下来，修改环境变量的值。在Notebook进入到 /home/ma-user/work/llm_train/AscendSpeed/ModelLink 路径中，再执行python命令。 方法二：用户在Notebook中直接编辑s
、“批量服务”和“边缘服务”。 “启动命令” 选填参数，指定模型的启动命令，您可以自定义该命令。 如果使用预置的AI引擎，如果启动命令没有填写，会使用默认的启动命令，默认的启动命令见表1。如果填写了启动命令，新填写的启动命令覆盖默认启动命令。 说明： 包含字符$，|，>，<，`，
执行镜像保存时，Notebook中存在状态为D的进程，会导致镜像保存失败。 解决方案 在Terminal里执行ps -aux命令检查进程。 执行kill -9 <pid>命令将相关进程结束后，再次执行镜像保存即可。 父主题： 自定义镜像故障
SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现
此时可以观察你的训练任务或者执行“nvidia-smi”等命令，几乎是卡顿无法执行，因为内核IO已经阻塞， 无法执行相关GPU命令，只能尝试释放D+进程。 处理方法 “nvidia-smi”是一个NVIDIA GPU监视器命令行工具，用于查看GPU的使用情况和性能指标，可以帮助用户进行GPU优化和故障排除。
检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl
SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现
通过CloudShell登录到Linux工作页面，检查GPU工作情况： 通过输入“nvidia-smi”命令，查看GPU工作是否异常。 通过输入“nvidia-smi -q -d TEMPERATURE”命令， 查看TEMP参数是否存在异常， 如果温度过高，会导致训练性能下降。 父主题： 训练作业性能问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
