检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
l.txt。 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考上传数据和算法到OBS。 上传算法到SFS 下载Swin-Transformer代码。 git clone --recursive https://github.
视频标注途径,用于区分标签是人工标注的还是自动标注的。可选值如下: human:人工标注 auto:自动标注 id 否 String 标签ID。 name 否 String 标签名。 property 否 SampleLabelProperty object 样本标签的属性键值对,如物体形状、形状特征等。 score
AI开发平台ModelArts ModelArts CommonOperations ModelArts Dependency Access 算法管理/训练管理/Workflow/自动学习 对象存储服务OBS OBS Administrator 消息通知服务SMN SMN Administrator
的OBS数据;您可以访问OBS服务的对象获取路径。<obs path>可以为“obs://”或“s3://”。 OBS生成的分享链接,包含签名信息。适用于访问其他人的OBS数据。分享链接有效时间限制,请在有效时间内操作。 输出manifest文件样例 批量服务的输出结果目录会有一个manifest文件。
视频标注途径,用于区分标签是人工标注的还是自动标注的。可选值如下: human:人工标注 auto:自动标注 id 否 String 标签ID。 name 否 String 标签名。 property 否 SampleLabelProperty object 样本标签的属性键值对,如物体形状、形状特征等。 score
式参考表1,其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式(使用自定义镜像) 参数名称 说明 创建方式 必选,选择“自定义算法”。 启动方式 必选,选择“自定义”。 镜像 必填,单击右边的“选择”,从容器镜像中选择上一步上传到SWR的镜像。 代码目录 选择训练代码
数据来源列表,与data_source二选一。 name 是 String 数据处理任务名称。 template 否 TemplateParam object 数据处理模板,如算法ID和参数等。 version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理任务的工作目录。
会导致模型创建失败。 当前支持以下三种探针: 启动探针:用于检测应用实例是否已经启动。如果提供了启动探针(startup probe),则禁用所有其他探针,直到它成功为止。如果启动探针失败,将会重启实例。如果没有提供启动探针,则默认状态为成功Success。 就绪探针:用于检测应
在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具 (可选)工作空间配置 模型训练: 本地构建镜像及调试 上传镜像 上传数据和算法至SFS(首次使用时需要) 使用Notebook进行代码调试 创建单机多卡训练作业 本地构建镜像及调试 本节通过打包conda env来构建环境,也可以通过pip
to。 model_id String 模型id。 model_source String 模型来源。auto:自动学习;algos:预置算法;custom:自定义。 install_type Array of strings 模型支持的部署类型列表。 model_size Integer
“train_params.json” 必选文件,训练参数文件,定义了模型训练的必要参数,例如训练方式、超参信息。该参数会显示在微调工作流的“作业设置”页面的算法配置和超参数设置里面。代码示例请参见train_params.json示例。 “dataset_readme.md” 必选文件,数据集要求
视频标注途径,用于区分标签是人工标注的还是自动标注的。可选值如下: human:人工标注 auto:自动标注 id String 标签ID。 name String 标签名。 property SampleLabelProperty object 样本标签的属性键值对,如物体形状、形状特征等。 score Float
视频标注途径,用于区分标签是人工标注的还是自动标注的。可选值如下: human:人工标注 auto:自动标注 id String 标签ID。 name String 标签名。 property SampleLabelProperty object 样本标签的属性键值对,如物体形状、形状特征等。 score Float
视频标注途径,用于区分标签是人工标注的还是自动标注的。可选值如下: human:人工标注 auto:自动标注 id String 标签ID。 name String 标签名。 property SampleLabelProperty object 样本标签的属性键值对,如物体形状、形状特征等。 score Float
到模型时的输出(预测项)。 除标签列外数据集中至少还应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。 当前由于特征筛选算法限制,预测数据列建议放在数据集最后一列,否则可能导致训练失败。 表格数据集示例: 以银行存款预测数据集为例:根据预测人的年龄、工作类型、婚
3:失败 4:停止 task_id String 数据处理任务ID。 template TemplateParam object 数据处理模板,如算法ID和参数等。 version_count Integer 数据处理任务的版本数量。 version_id String 数据处理任务对应的数据集版本ID。
pp_url/boot_file_url和engine_id无需填写。 model_id 是 Long 训练作业的模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url/boot_file_url和engine_id不需填写。 parameter
写作业信息,创建方式参考表1,其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式 参数名称 说明 创建方式 必选,选择“自定义算法”。 启动方式 必选,选择“预置框架”,并选择训练作业要使用的预置框架引擎和引擎版本,引擎版本选择“自定义”。 镜像 容器镜像选择上一步上传到SWR的镜像。
件,具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
文件,具体请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入: