检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集 ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数
管理数据集版本 数据标注完成后,您可以发布成多个版本对数据集进行管理。针对已发布生产的数据集版本,您可以通过查看数据集演进过程、设置当前版本、删除版本等操作,对数据集进行管理。数据集版本的相关说明,请参见关于数据集版本。 发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
进入“应用开发”页面。 新建数据集 在“数据选择”页面,单击“新建数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图1 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建训练数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
的文本数据集信息,包括“数据集名称”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“导入成功”。 导入数据集后,单击数据集操作列的“标注”,进入数据集概览页
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
开发版本列表 新建数据集 在“数据选择”页面,单击“新建数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“数据选择”页面,新建数据集后,单击操作列的“标注”
配额说明 本服务在使用数据集、在线服务、训练任务资源时涉及配额限制。 其配额查看及修改请参见关于配额。
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图1 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
训练模型 在“模型训练”页面配置训练参数,开始训练模型。 在“参数配置”填写“最大训练轮次”。“最大训练轮次”指模型迭代次数,即训练中遍历数据集的次数,参数范围[30,100]。 确认信息后,单击“训练”。 模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示查看训练详情。
并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。 在“参数配置”填写“学习率”、“训练轮次”和“分批训练样本数”。 “学习率”用来控制模型的学习速度,范围为(0,1]。 “训练轮次”指模型训练中遍历数据集的次数。 “分批训练样本数”又叫批尺寸(Batch
选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预训练模型”,并配置训练参数,开始训练模型。 预训练模型