检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径中，再执行python命令。 方法二：用户直接编辑scripts/llama2/1_preprocess_data.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下：
/home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME
/home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME
aMA-Factory/data 【可选】dataset_info.json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 template qwen 必须修改。用于指定模板。如果设置为"qwen"，则使用QWEN模板进行训练，模板选择可参照表1中的template列
鼠标移动至节点名称上，复制需要退订的实例ID。 图3 复制实例ID Server购买订单里绑定的资源ID为Server ID，与Server产品所封装的BMS/ECS ID不同，若要退订Server，需要在ModelArts控制台的“资源管理 > AI专属资源池 > 弹性节点Server”中查询对应ID。
/scripts_modellink/install.sh; sh ./scripts_modellink/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时，训练作业启动命令中输入： cd /home/ma-user/work/llm_train/AscendFactory;
wf.AlgorithmParameters(name="save_model_secs", value=wf.Placeholder(name="save_model_secs", placeholder_type=wf.PlaceholderType.INT, default=60
桶（存放代码）”，采用分布式训练。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买。（并行文件系统） × 免费。 免费。 包月购买。 免费。 × 按需购买。 单机多卡 × 包月购买。 （HPC型500G）
/home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME
SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买（并行文件系统） × 免费 免费 包月购买 免费 × 按需购买 单机多卡 × 包月购买 （HPC型500G） 免费
wf.AlgorithmParameters(name="save_model_secs", value=wf.Placeholder(name="save_model_secs", placeholder_type=wf.PlaceholderType.INT, default=60
wf.AlgorithmParameters(name="save_model_secs", value=wf.Placeholder(name="save_model_secs", placeholder_type=wf.PlaceholderType.INT, default=60
ions/samples modelarts:sample:listSamples obs:object:GetObject √ √ 批量添加样本 POST /v2/{project_id}/datasets/{dataset_id}/data-annotations/samples
以PyTorch框架创建训练作业（新版训练） 本节通过调用一系列API，以训练模型为例介绍ModelArts API的使用流程。 概述 使用PyTorch框架创建训练作业的流程如下： 调用认证鉴权接口获取用户Token，在后续的请求中需要将Token放到请求消息头中作为认证。 调
ConditionStep支持多条件节点的嵌套使用，用户可以基于不同的场景灵活设计。 条件节点只支持双分支的选择执行，局限性较大，推荐您使用新的分支功能，可以在不添加新节点的情况下完全覆盖ConditionStep的能力，详情请参见配置节点参数控制分支执行章节。 父主题： 构建Workflow多分支运行场景
查看诊断报告 Advisor分析profiling会输出html和xlsx两份文件。请优先查看html报告进行训练作业性能调优。xlsx中记录了html中全量数据，如集群计算、通信和下发的耗时，可以基于xlsx对计算耗时、下发耗时和带宽等列进行排序，从而快速过滤出计算慢卡、下发慢卡、带宽最小卡。
ModelArts最佳实践案例列表 在最佳实践文档中，提供了针对多种场景、多种AI引擎的ModelArts案例，方便您通过如下案例快速了解使用ModelArts完成AI开发的流程和操作。 DeepSeek模型推理场景 表1 样例 场景 说明 DeepSeek模型基于ModelArts
value="1.0"), wf.AlgorithmParameters(name="save_model_secs", value="60"), wf.AlgorithmParameters(name="save_summary_steps"
使用AI Gallery SDK构建自定义模型 AI Gallery的Transformers库支持部分开源的模型结构框架，并对昇腾系列显卡进行了训练/推理性能优化，可以做到开箱即用。如果你有自己从头进行预训练的模型，AI Gallery也支持使用SDK构建自定义模型接入AI Gallery。
Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理（即模型管理和部署上线）支持的AI框架及其版本，请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，包括MindSpore、P
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
