检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 启动推理服务的具体操作步骤请参见启动推理服务。 父主题：
可以通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 启动推理服务的具体操作步骤请参见启动推理服务。 父主题：
"alpaca_gpt4_data": { "file_name": "alpaca_gpt4_data.json" }, 样例截图： 父主题： 准备工作
"alpaca_gpt4_data": { "file_name": "alpaca_gpt4_data.json" }, 样例截图： 父主题： 准备工作
考在Workflow中指定仅运行部分节点。 在配置工作流时，打开“部分运行”开关，选择需要执行的部分运行场景，并填写完善相关节点的参数。 图1 部分运行 保存上一步的配置后，单击“启动”按钮即可启动部分运行场景。 父主题： 管理Workflow
或ModelArts.3976：No resources are available for the selected specification.） 图1 资源不足，服务调度失败 原因分析 实例配置的规格过大，CPU或者内存剩余资源不足；（"insufficient CPU" / "insufficient
"alpaca_gpt4_data": { "file_name": "alpaca_gpt4_data.json" }, 样例截图： 父主题： 准备工作
删除资源池。 可切换“训练作业”、“推理服务”、“开发环境”页签查看资源池上创建的训练作业、部署的推理服务、创建的Notebook实例。 图1 删除资源池 释放游离节点 如果您的资源中存在游离节点（即没有被纳管到资源池中的节点），您可在“AI专属资源池 > 弹性集群Cluster
"alpaca_gpt4_data": { "file_name": "alpaca_gpt4_data.json" }, 样例截图： 父主题： 准备工作
自动重启”只是打开了“自动重启”开关，则表示仅环境问题导致训练作业异常时才会自动重启，其他问题导致训练作业异常时会直接返回“运行失败”。 图1 开启无条件重启 API接口设置 通过API接口创建训练作业时，在“metadata”字段的“annotations”中传入“fault-
21 GLMv4 glm4-9b https://huggingface.co/THUDM/glm-4-9b-chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买
首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。 图1 EAGLE Weights 以llama2-chat-7B为例，单击进入后 ，如下图所示config文件，即为对应模型的eagle config文件。 步骤五：训练生成权重转换成可以支持vLLM推理的格式
首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。 图1 EAGLE Weights 以llama2-chat-7B为例，单击进入后 ，如下图所示config文件，即为对应模型的eagle config文件。 步骤五：训练生成权重转换成可以支持vLLM推理的格式
mixtral-8x7b https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买
发阶段，重新优化代码。 图1 模型开发过程 ModelArts提供了模型训练的功能，方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据，选择不同规格的资源池用于模型训练。 请参考以下指导在ModelArts Standard上训练模型。 图2 ModelArts Standard模型训练流程
{vae_out_channels}]") 执行以下命令获取shape信息。 python parse_models_shape.py 可以看到获取的shape信息如下图所示。 图1 shape信息 PyTorch模型转换为Onnx模型（可选） 获取onnx模型有以下两种方式。下文介绍如何通过方式一进行操作。如果采用方式二，可以跳过此步骤。
Cluster资源池节点故障如何定位 故障说明和处理建议 图1 Lite池故障处理流程 对于ModelArts Lite资源池，每个节点会以DaemonSet方式部署node-agent组件，该组件会检测节点状态，并将检测结果写到K8S NodeCondtition中。同时，节点
https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买
py 问题4：训练过程中报"ModuleNotFoundError: No module named 'multipart'"报错： 截图如下： 解决措施：可更新python-multipart为0.0.12版本，具体步骤如下： 启动训练任务前更新python-multipart版本：
"alpaca_gpt4_data": { "file_name": "alpaca_gpt4_data.json" }, 样例截图： 父主题： 准备工作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
