检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：sft、rm、ppo、dpo。 sft代表指令监督微调； rm代表奖励模型训练； ppo代表PPO训练； dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型，可选择值full、lora。
3.905-20240611214128.zip 三方大模型训练和推理代码包 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-3rdAIGC-6.3.905-20240529154412
名称不能重复 是 str inputs 模型注册节点的输入列表 否 ModelInput或者ModelInput的列表 outputs 模型注册节点的输出列表 是 ModelOutput或者ModelOutput的列表 title title信息，主要用于前端的名称展示 否 str
TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示contex
TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示contex
在ModelArts自动学习和Workflow中进行模型训练和推理时，会使用计算资源和存储资源，会产生计算资源和存储资源的累计值计费。具体内容如表1所示。 计算资源费用： 如果运行自动学习作业/Workflow工作流时，使用专属资源池进行模型训练和推理，计算资源不计费。 如果运行自动学
copy_parallel(local_data_dir, obs_data_dir) 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 8 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。若训练时SEQ_LEN超过32768长度，则推荐增加CP值（CP
d）中所述的Ascend训练脚本的启动脚本。 训练作业在容器中的挂载点说明 使用自定义镜像训练模型时，训练作业在容器中的挂载点参考如表2所示。 表2 训练作业挂载点介绍 挂载点 是否只读 备注 /xxx 否 专属池使用SFS盘挂载的目录，路径由客户自己指定。 /home/ma-user/modelarts
Gallery进行交流，停止实例（实例停止后CPU、Memory不再计费）等，提升用户体验。 支持SSH远程连接功能：通过SSH连接启动实例，在本地调试就可以操作实例，方便调试。 预置镜像支持功能开发：基于ModelArts预置镜像进行依赖安装配置后，保存为自定义镜像，能直接在ModelArts用于训练作业。
仅用于存在多分支执行的场景，在编写构建工作流节点时，节点的数据输入来源暂不确定，可能是多个依赖节点中任意一个节点的输出。只有当依赖节点全部执行完成后，才会根据实际执行情况自动获取有效输出作为输入。 使用案例 from modelarts import workflow as wf condition_equal
h size、并行切分策略、学习率warm-up、模型参数、FA配置等。用户在进行NPU精度和GPU精度比对前，需要保证两边的配置一致。 表1 超参说明 超参 说明 学习率 影响模型收敛程度，决定了模型在每次更新权重时所采用的步长。学习率过高，模型可能会过度调整权重，导致不稳定的
算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM
"$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-70b 对应模型名称。请根据实际修改。 STAGE pt 表示当前的训练阶段。可选择值：【pt、sft】 sft：代表监督微调； pt：代表预训练； FINETUNING_TYPE full 表示训练策略。可选择值【full、lora】：
"$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-70b 对应模型名称。请根据实际修改。 STAGE pt 表示当前的训练阶段。可选择值：【pt、sft】 sft：代表监督微调； pt：代表预训练； FINETUNING_TYPE full 表示训练策略。可选择值【full、lora】：
TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示contex
TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示contex
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
