检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从DLI导入数据到ModelArts数据集 表格数据集支持从DLI导入数据。 从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据 队列名称:系统自动将当前
的图片。 当团队标注任务中,分配了Reviewer角色,则需要对标注结果进行审核,审核完成后,再提交给管理员验收。 图7 成员标注平台 父主题: 通过团队标注方式标注数据
elArts的权限,控制用户对ModelArts资源的使用范围。 关于IAM的详细介绍,请参见IAM产品介绍。 角色与策略权限管理 ModelArts服务支持角色与策略授权。默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户
可选择“ModelArts”、“对象存储服务(OBS)”、“本地上传”。 ModelArts区域 选择当前控制台所在的区域。 OBS区域 选择与当前控制台一致的区域。 存储位置 用来存储发布的资产。 数据类型 当前数据集的数据类型。 选择数据集 选择需要发布的数据集。 许可证类型 根
数据。 在“数据集概览页”,单击右上角“导出历史”,在弹出的“任务历史”对话框中,可以查看该数据集之前的导出任务历史。 图2 任务历史 父主题: 导出ModelArts数据集中的数据
已标注数据格式规范:视频标注 其他 自由格式 支持 导入的是未标注数据 - 表格 表格 支持 还支持从DWS、DLI、MRS导入数据。 格式规范:表格 - 父主题: 从OBS导入数据到ModelArts数据集
文本框中填写音频标签和内容。 图4 语音标签音频标注 输入内容后单击下方的“确认标注”按钮完成标注。音频将被自动移动至“已标注”页签。 父主题: 通过人工标注方式标注数据
轮廓上。系统将根据标注的极点推理出物体的轮廓。对于背景比较复杂的图片,极点标注效果不佳,推荐使用多边形标注。 极点标注功能仅支持北京一与北京四区域。 多边形标注时,标注框或极点,必须在图片范围内,超出图片将导致后续作业异常。 开始标注 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>
注。 图14 在文本中修改标签 您也可以在单击页面下方的“删除当前项标签”按钮,删除选中文本对象中的所有标签。 图15 删除当前项标签 父主题: 通过人工标注方式标注数据
添加标签:单击“添加标签”可增加多个标签。 设置标签颜色:在每个标签右侧的标签颜色区域下,可在色板中选择颜色,或者直接输入十六进制颜色码进行设置。 父主题: 通过人工标注方式标注数据
图片,此操作可能会影响已使用此源文件的其他数据集或数据集版本,有可能导致展示异常或训练/推理异常。删除后,数据将无法恢复,请谨慎操作。 父主题: 通过人工标注方式标注数据
步到最终结果,不支持单独分离操作。 图1 当前账号添加成员 图2 其他账号添加成员 成员添加完成后,团队详情区域中将呈现此成员的信息。 父主题: 通过团队标注方式标注数据
所在行的删除。任务删除后,未验收的标注详情将丢失,请谨慎操作。但是数据集中的原始数据以及完成验收的标注数据仍然存储在对应的OBS桶中。 父主题: 通过团队标注方式标注数据
I和MRS等数据源导入数据。 从OBS目录导入数据时,当前操作用户需具备此OBS路径的读取权限。 同时确保数据存储的OBS桶与ModelArts在同一区域。 图像分类 图像分类的数据支持两种格式: ModelArts imageNet 1.0:目录方式,只支持单标签 相同标签的图
计算节点规格 即智能标注任务使用的资源规格。 说明: 智能标注创建时免费,但OBS存储会按需收费,请参考计费详情。为保证您的资源不浪费,标注作业与后续任务完成后,请及时清理您的OBS桶。 计算节点个数 默认为1,表示单机模式。目前仅支持此参数值。 表2 预标注 参数 说明 智能标注类型
在数据集详情页面的“全部”页签中,单击“自动分组 > 任务历史”。在弹出的“任务历史”对话框中,展示当前数据集之前执行的自动分组任务的基本信息。 图3 自动分组任务历史 父主题: 通过智能标注方式标注数据
Manifest文件编写规范要求较多,推荐使用OBS目录导入方式导入新数据。一般此功能常用于不同区域或不同账号下ModelArts的数据迁移,即当您已在某一区域使用ModelArts完成数据标注,发布后的数据集可从输出路径下获得其对应的Manifest文件。在获取此Manifest文件后,可将此数据
勾选需标注为难例的图片,然后单击“难例批处理 > 确认为难例”。完成标注后,图片预览时,其右上角将显示为“难例”。 图2 确认为难例 父主题: 通过智能标注方式标注数据
之前的导出任务历史。包括“任务ID”、“创建时间”、“导出方式”、“导出路径”、“导出样本总数”和“导出状态”。 图13 导出任务历史 父主题: 导出ModelArts数据集中的数据
d/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。如果用户需要将Hugging Face权重与tokenizer文件分开存放时,则需要修改参数。 INPUT_PROCESSED_DIR /