检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可选值如下: true:发布时清除数据集已有的usage信息(默认值) false:发布时不清除数据集已有的usage信息 train_evaluate_sample_ratio 否 String 发布版本时切分训练验证比例,默认为1.00,即全部分为训练集。
可选值如下: true:包含数据集源数据 false:不包含数据集源数据 is_current Boolean 是否为数据集当前版本。
如果启动训练时,设置了数据集切分功能,如果多标签的数据少于2张,会导致数据集切分失败。建议检查您的标注信息,保证标注多标签的图片,超过2张。 数据集切分后,训练集和验证集包含的标签类别不一样。
数据集版本管理 查询数据集版本列表 创建数据集版本 查询数据集版本详情 删除数据集版本 父主题: 数据管理
管理AI Gallery数据集 编辑数据集介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在数据集详情页,选择“数据集介绍”页签,单击右侧“编辑介绍”。 编辑数据集基础设置和数据集描述。
可选值如下: true:主动随机分配训练集-验证集 false:不主动随机分配训练集-验证集(默认值) sample_state 否 String 样本状态。
version_id 是 String 数据集版本ID。
训练数据集预处理说明 以 llama2-13b 举例,使用训练作业运行:obs_pipeline.sh 训练脚本后,脚本自动执行数据集预处理,并检查是否已经完成数据集预处理。 如果已完成数据集预处理,则直接执行训练任务。
在“创建数据集”弹窗中配置参数,单击“创建”。 表1 创建数据集 参数名称 说明 英文名称 必填项,数据集的英文名称。 如果没有填写“中文名称”,则资产发布后,在数据集页签上会显示该“英文名称”。 中文名称 数据集的中文名称。
在“我的资产 > 数据集”下,选择未发布的数据集,单击数据集名称,进入数据集详情页。 在数据集详情页,单击右侧“发布”,在发布数据集页面编辑发布信息后,单击“发布”。
训练输入选择对应的OBS路径或者数据集路径,训练输出选择对应的OBS路径。 父主题: Standard模型训练
导出数据为新数据集 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,选择“图片”类型的数据集,单击数据集名称进入“数据集概览页”。 在“数据集概览页”,单击右上角“导出 ”。
数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。
可选值如下: true:数据集可以进行训练/验证集切分 false:数据集无法进行训练/验证集切分 grouped_label_stats Map<String,Array<LabelStats>> 按标注类型分组后的标签统计信息。
训练的数据集预处理说明 以llama2-13b举例,使用训练作业运行:obs_pipeline.sh 训练脚本后,脚本自动执行数据集预处理,并检查是否已经完成数据集预处理。 如果已完成数据集预处理,则直接执行训练任务。
数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。
数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。
数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。
训练的数据集预处理说明 以llama2-13b举例,使用训练作业运行:obs_pipeline.sh 训练脚本后,脚本自动执行数据集预处理,并检查是否已经完成数据集预处理。 如果已完成数据集预处理,则直接执行训练任务。
数据集预处理脚本参数说明如下: --input:原始数据集的存放路径。