检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注人员管理 如果您创建的标注作业，开启了团队标注，“标注人员管理”页面中可查看团队标注作业的标注详情。添加、修改或删除标注成员。 登录“数据准备>数据标注”，在“我创建的”页签下可查看所有的标注作业列表。 在作业列表的“名称”列，根据标注作业名称找到对应的团队标注作业。（团队标注作业的名称后带有标识。）
训练作业使用MoXing复制数据较慢，重复打印日志 问题现象 ModelArts训练作业使用MoXing复制数据较慢。 重复打印日志“INFO:root:Listing OBS”。 原因分析 复制数据慢的可能原因如下： 直接从OBS上读数据会造成读数据变成训练的瓶颈，导致迭代缓慢。
存储服务OBS+高性能弹性文件服务SFS Turbo的AI云存储解决方案，如下图所示。 SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。
auto_sync_dataset Boolean 团队标注任务的标注结果是否自动同步至数据集。可选值如下： true：团队标注任务的标注结果自动同步至数据集 false：团队标注任务的标注结果不自动同步至数据集 check_rate Double 团队标注任务验收比例。 checking_task_desc
在Workflow中使用大数据能力（DLI/MRS） 功能介绍 该节点通过调用MRS服务，提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时，可以根据已有数据使用该节点进行训练计算。 使用案例 在华为云MR
调用创建数据集接口创建一个图像分类类型的数据集。 调用查询数据集详情接口根据数据集ID查询数据集的详情。 调用查询样本列表接口根据数据集ID获取数据集的样本详情。 调用批量更新样本标签接口根据数据集ID和样本ID给样本添加标签进行人工标注。 调用查询数据集的统计信息接口查看数据集的标注统计信息。
支持训练数据使用SFS Turbo文件系统进行数据挂载，训练作业产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中，并可被下游业务环节继续读取并处理，结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储，从而加速训练场景下加速OBS对象存储中的数据访问 ModelArts
“数据集输入位置”即原始数据存储的OBS路径。 “数据集输出位置”，指在ModelArts完成数据标注后，执行数据集发布操作后，在此指定路径下，按数据集版本，生成相关目录。包含ModelArts中使用的Manifest文件（包含数据及标注信息）。详细文件说明可参见数据集发布后，相关文件的目录结构说明。
在ModelArts的Notebook实例重启时，数据集会丢失吗？ ModelArts提供的Notebook实例是以ma-user启动的，用户进入实例后，工作目录默认是“/home/ma-user/work”。 创建实例，“/home/ma-user/work”目录下挂载的数据，在实例停止、重新启动后依然保留，其他目录下的内容会还原。
server（简称ps）和worker两种角色，ps和worker会被调度到相同的机器上。由于训练数据对于ps没有用，因此在代码中ps相关的逻辑不需要下载训练数据。如果ps也下载数据到“/cache”，实际下载的数据会翻倍。例如只下载了2.5TB的数据，程序就显示空间不够而失败，因为/cache只有4TB的可用空间。
入门案例：快速创建一个物体检测的数据集 本节以准备训练物体检测模型的数据为例，介绍如何针对样例数据，进行数据分析、数据标注等操作，完成数据准备工作。在实际业务开发过程中，可以根据业务需求选择数据管理的一种或多种功能完成数据准备。此次操作分为以下流程： 准备工作 创建数据集 数据分析 数据标注 数据发布 数据导出
【下线公告】华为云ModelArts服务旧版数据集下线公告 华为云计划于2024/10/31 00:00（北京时间）用AI开发平台ModelArts的新版数据集全面替代旧版数据集，旧版数据集正式下线。 下线范围 下线区域：华北-北京四（其他区域已下线） 受影响服务 ModelArts旧版数据集。 下线影响
如何在ModelArts的Notebook实例中使用ModelArts数据集？ ModelArts上创建的数据集存放在OBS中，可以将OBS中的数据下载到Notebook中使用。 Notebook中读取OBS数据方式请参见如何在ModelArts的Notebook中上传下载OBS文件？。
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
"@modelarts:shape": "bndbox", "@modelarts:feature": [[347, 186], [382, 249]]}, {"@modelarts:color":
在ModelArts中使用Moxing复制数据时如何定义路径变量？ 问题描述 mox.file.copy_parallel(src_obs_dir=input_storage,'obs://dyyolov8/yolov5_test/yolov5-7.0/datasets'), m
ModelArts的Notebook实例upload后，数据会上传到哪里？ 针对这个问题，有两种情况： 如果您创建的Notebook使用OBS存储实例时 单击“upload”后，数据将直接上传到该Notebook实例对应的OBS路径下，即创建Notebook时指定的OBS路径。
步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细
步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细
步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
