检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
超参数为use-flash-attn，决定训练过程中的Attention模块是否使用融合flash attention算子（性能较优）或者使用小算子。 训练脚本 由算法迁移人员排查迁移后的NPU脚本是否存在问题，可以通过Beyond Compare工具比对GPU训练脚本和NPU训练脚本之间是否存在差异。例
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 model_algorithm String 模型算法类型，如predict_analysis、object_detection、image_classification。 model_name
earn/XGBoost/MindSpore/Image/PyTorch。 model_algorithm 否 String 模型算法，表示模型的算法实现类型，如果已在模型配置文件中配置，则可不填。如：predict_analysis、object_detection 、image_classification。
参数类型 描述 name String 资产名称。 type String 资产类型，枚举如下: algorithm：算法 algorithm2：新算法 model：模型算法 content_id String 资产ID，可在AI Gallery中获取。 subscription_id
式参考表1，其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式（使用自定义镜像） 参数名称 说明 创建方式 必选，选择“自定义算法”。 启动方式 必选，选择“自定义”。 镜像 必填，单击右边的“选择”，从容器镜像中选择上一步上传到SWR的镜像。 代码目录 选择训练代码
AI开发平台ModelArts ModelArts CommonOperations ModelArts Dependency Access 算法管理/训练管理/Workflow/自动学习 对象存储服务OBS OBS Administrator 消息通知服务SMN SMN Administrator
l.txt。 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考上传数据和算法到OBS。 上传算法到SFS 下载Swin-Transformer代码。 git clone --recursive https://github.
to。 model_id String 模型id。 model_source String 模型来源。auto：自动学习；algos：预置算法；custom：自定义。 install_type Array of strings 模型支持的部署类型列表。 model_size Integer
数据来源列表，与data_source二选一。 name 是 String 数据处理任务名称。 template 否 TemplateParam object 数据处理模板，如算法ID和参数等。 version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理任务的工作目录。
O强化训练前提为完成Reward奖励学习；请根据实际规划修改。 loraplus_lr_ratio 16.0 lora+策略算法独有参数；设置Lora+算法的lambda值为16.0 tune_yaml样例模板 ### model model_name_or_path: /hom
O强化训练前提为完成Reward奖励学习；请根据实际规划修改。 loraplus_lr_ratio 16.0 lora+策略算法独有参数；设置Lora+算法的lambda值为16.0 tune_yaml样例模板 ### model model_name_or_path: /hom
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
件，具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入：
文件，具体请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入：
nizer文件，具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入：
件，具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入：
文件，具体请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时，训练作业启动命令中输入：
在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具 （可选）工作空间配置 模型训练： 本地构建镜像及调试 上传镜像 上传数据和算法至SFS（首次使用时需要） 使用Notebook进行代码调试 创建单机多卡训练作业 本地构建镜像及调试 本节通过打包conda env来构建环境，也可以通过pip
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
3：失败 4：停止 task_id String 数据处理任务ID。 template TemplateParam object 数据处理模板，如算法ID和参数等。 version_count Integer 数据处理任务的版本数量。 version_id String 数据处理任务对应的数据集版本ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
