检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置训练作业基本信息 在创建训练作业页面填写训练作业基本信息。 表1 创建训练作业的基本信息 参数名称 说明 名称 必填，训练作业的名称。 系统会自动生成一个名称，可以根据业务需求重新命名，命名规则如下： 支持1~64位字符。 可以包含大小写字母、数字、中划线（-）或下划线（_）。 描述 训
ir/code/train.py 使用Ascend自定义镜像训练时的训练代码适配规范 使用NPU资源创建训练作业时，系统会在训练容器里自动生成Ascend HCCL RANK_TABLE_FILE文件。当使用预置框架创建训练作业时，在训练过程中预置框架会自动解析Ascend HCCL
SAVE_INTERVAL 1000 用于模型中间版本地保存。 当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。 模型版本保存次数=TRAI
在弹出的对话框中，设置训练作业相关参数，详细参数说明请参见表1。 表1 训练作业配置参数说明 参数 说明 Job Name 训练作业的名称。 系统会自动生成一个名称，您可以根据业务需求重新命名，命名规则如下： 支持1~64位字符。 并包含大小写字母、数字、中划线（-）或下划线（_）。 Job Description
支持同时购买多台机器，输入值必须在1到10之间。 若有多台机器资源，会生成对应多笔订单，需逐一支付每笔订单，不可合并支付。 单击“立即创建”，完成实例的创建，随后进入付款界面。 支付对应资源的订单。 图8 支付订单 若有多台机器资源，会生成对应多笔订单，需逐一支付每笔订单，不可合并支付。 支付完
据处理”页面。 在创建数据处理页面，填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成，按“V0001”、“V0002”规则命名，用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。
即便模型训练中断，也可以基于checkpoint继续训练。 当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置继续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。
即便模型训练中断，也可以基于checkpoint继续训练。 当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置继续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。
采集完profiling后如果ModelArts训练作业已经停止，则推荐参照创建诊断任务创建cpu规格的notebook进行性能分析，节省NPU计算资源。完成分析后，可以查看生成的html文件来进行快速的调优，html文件详情请参考查看诊断报告。 下面以开发环境Notebook为例介绍一个典型的性能调优案例。 64卡训练任务，模型为GPT
即便模型训练中断，也可以基于checkpoint继续训练。 当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置继续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。
即便模型训练中断，也可以基于checkpoint继续训练。 当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置继续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。
即便模型训练中断，也可以基于checkpoint继续训练。 当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置继续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。
即便模型训练中断，也可以基于checkpoint继续训练。 当训练作业发生故障中断本次作业时，代码可自动从训练中断的位置继续训练，加载中断生成的checkpoint，中间不需要改动任何参数。可以通过训练脚本中的SAVE_INTERVAL参数来指定间隔多少step保存checkpoint。
据。此位置不能和OBS数据源中的文件路径相同或为其子目录。 创建表格数据集后，在存储路径下会自动生成以下4个目录。 annotation：版本发布目录，每次发布版本，会在此目录下生成和版本名称相同的子目录。 data：数据存放目录，导入的数据会放在此目录。 logs：日志存放目录。
据处理”页面。 在创建数据处理页面，填写相关算法参数。 填写基本信息。基本信息包括“名称”、“版本”和“描述”。其中“版本”信息由系统自动生成，按“V0001”、“V0002”规则命名，用户无法修改。 您可以根据实际情况填写“名称”和“描述”信息。 图1 创建数据处理基本信息 设
ate列 output_dir /home/ma-user/ws/Qwen2-72B/sft-4096 必须修改。指定输出目录。训练过程中生成的模型参数和日志文件将保存在这个目录下。用户根据自己实际要求适配。 per_device_train_batch_size 1 指定每个设备的训练批次大小
benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本 ├── requirements.txt # 第三方依赖 ├──
参数说明 FILE_PATH String 是 Dockerfile文件所在的路径。 -t / --target String 否 表示构建生成的tar包保存在本地的路径，默认是当前文件夹目录。 -swr / --swr-path String 是 SWR镜像名称，遵循organi
fit(inputs=[input_data], job_name="cifar10-dis") 参数解释： inputs：可选参数，一个list，每个元素都是步骤2中生成的实例； job_name：可选参数，训练任务名，便于区分和记忆。 本地分布式训练任务开始后，SDK会依次帮助用户完成以下流程： 将训练脚
python infer.py --model_path 模型文件所在的绝对路径 --input_file aishell.scp 执行完生成推理结果文件infer_result.txt。 父主题： 内容审核模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
