检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
arallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表1进行设置。 可调整参数：MBS指最小batch处理的样本量（micro-batch-
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
在标注任务复制的弹窗中，填写作业描述，作业名称task-xxxx-copy-xxxx，其中xxxx为系统生成的随机码，用来区分新作业与被复制作业。也可以修改新生成的作业名称。单击“确定”。 复制完成后，在标注作业列表页即可查询新的标注任务，复制标注作业信息包含标注任务的样本、标签、团队标注信息。
分别单击“输入”和“输出”的数据存储位置，如图所示，选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3
分别单击“输入”和“输出”的数据存储位置，如图所示，选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3
arallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理的样本量（micro-batch-
rallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理的样本量（micro-batch-
rallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理的样本量（micro-batch-
arallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表1进行设置。 可调整参数：MBS指最小batch处理的样本量（micro-batch-
rallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理的样本量（micro-batch-
面向k8s资源型用户，提供k8s原生接口，用户可以直接操作资源池中的节点和k8s集群。 适用于已经自建AI开发平台，仅有算力需求的用户。要求用户具备k8s基础知识和技能。 ModelArts用户指南（Lite Cluster） ModelArts Edge 为客户提供了统一边缘部署和管理能力，支持统一纳管异构边缘设备
obs:bucket:ListBucket obs:object:DeleteObject √ √ 表3 样本管理的细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 查询样本列表 GET /v2/{project_id}/datasets/{dataset_id}/
*****”关键字打印 训练完成后，请参考查看日志和性能章节查看指令微调的日志和性能。 1、如训练过程中遇到“NPU out of memory”“Permission denied” 问题可参考 附录：微调训练常见问题解决。 2、训练中遇到"ImportError: This modeling
iteration”获取每步迭代耗时，总的Token数可以用日志中的“global batch size”和“SEQ_LEN”相乘获得，训练的每卡每秒的吞吐=总Token数÷每步迭代耗时÷总卡数。 暂停和重启调优作业 只有作业“状态”处于“运行中”、“等待中”、“告警”和“创建中”，才支持暂停调优作业。 在ModelArts
comment 否 String 评审意见，限制长度为[0,256]，且不能包含!<>=&"'字符。 sample_id 否 String 样本ID，可调用查询样本列表接口获取。 score 否 String 评审分数，当前可取A/B/C/D四个值，从高到低排列。 worker_id 否 String
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 如果用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
持的镜像和资源规格选择使用。 前提条件 为了保证训练结果中输出Summary文件，在编写训练脚本时，您需要在脚本中添加收集Summary相关代码。 TensorFlow引擎的训练脚本中添加Summary代码，具体方式请参见TensorFlow官方网站。 注意事项 运行中的可视化作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
