检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询数据集同步任务的状态 功能介绍 查询数据集同步任务的状态。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
数据保护技术 ModelArts通过多种数据保护手段和特性，保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息，如用户邮箱和手机号，AI Gallery在数据库中做了加密处理。其中，加密算法采用了国际通用的AES算法。
否 Boolean 是否导入数据，此参数当前仅表格数据集使用。可选值如下： true：创建数据集时导入数据 false：创建数据集时不导入数据（默认值） label_format 否 LabelFormat object 标签格式信息，此参数仅文本类数据集使用。 labels 否 Array
从MRS导入数据到ModelArts数据集 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据，首先需要选择已有的MRS集群，并从HDFS文件列表选择文件名称或所在目录，导入文件的列数需与数据集schema一致。MRS的详细功能说明，请参考MRS用户指南。
标注文本分类数据 项目创建完成后，将会自动跳转至新版自动学习页面，并开始运行，当数据标注节点的状态变为“等待操作”时，需要手动进行确认数据集中的数据标注情况，也可以对数据集中的数据进行标签的修改，数据的增加或删减。 图1 数据标注节点状态 双击“数据标注”节点，单击实例详情按钮，打开数据标注页面。
发布时是否需要解析子样本序号，用于医疗数据集。可选值如下： true：解析子样本序号 false：不解析子样本序号（默认值） include_dataset_data Boolean 发布时是否包含数据集源数据。可选值如下： true：包含数据集源数据 false：不包含数据集源数据 is_current
支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分类 物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 图像分割 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分割 支持 可以导入未标注或已标注数据
"dataset-image" # 数据集名称 data_type = "IMAGE" # 数据集类型，图像类型数据集 data_sources = dict() # 数据集数据来源 data_sources["type"] = 0 # 数据来源类型，0表示OBS
>数据集”，进入“数据集”管理页面。 在数据集所在行，单击操作列的“导入”。 或者，您可以单击数据集名称，进入数据集“概览”页，在页面右上角单击“导入”。 在“导入”对话框中，参考如下说明填写参数，然后单击“确定”。 “数据来源”：“本地上传” “上传数据存储路径”：数据存储的OBS路径。 “上传
从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题： 导入数据到ModelArts数据集
创建数据集时，此OBS路径下的数据会导入数据集，后续如果直接在OBS中修改数据，会造成数据集的数据与OBS的数据不一致，可能导致部分数据不可用。如果需要在数据集中修改数据，建议使用同步数据源或4章节从OBS目录导入数据到数据集功能。 超出数据集的样本和标签配额，会导致数据无法正常导入。
添加标签 如果您还不太清楚如何进行标注，可参考数据集详情页面的“标注样例说明”完成标注。 登录ModelArts管理控制台，选择“数据准备 > 数据标注”进入数据标注页。 在“我创建的”或“我参与的”页签下，找到您需要标注的数据集。 单击数据集名称，进入标注详情页。（默认直接进入“未标注”页签）。
更新数据集 更新数据集的名称和描述信息。 dataset.update_dataset(dataset_name=None, description=None) 示例代码 更新数据集名称 from modelarts.session import Session from modelarts
ts数据集。 提供多种数据接入方式，支持用户从OBS，MRS，DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子，帮助用户扩增数据，增加训练用的数据量。 帮助用户提高数据的质量。 提供图像、文本、音频、视频等多种格式数据的预览，帮助用户识别数据质量。 提供对数据进行多
Schema列表。 status Integer 数据集状态。当前可选值： 0：数据集创建中 1：数据集正常 2：数据集删除中 3：数据集已删除 4：数据集异常 5：数据集同步中 6：数据集发布中 7：数据集版本切换中 8：数据集导入中 third_path String 第三方路径。
导入成功后，单击想查看的模板即可查看响应内容。这里介绍一些常用功能的使用。 切换数据源和资源池 图5 切换数据源和资源池 单击红框中相应位置，即可出现下拉框，修改响应的数据源和资源池。 刷新数据 单击右上角的图标，即可刷新整个DashBoard的所有数据，各panel也会更新 修改自动刷新时间 图6 修改自动刷新时间
使用PyCharm上传数据至Notebook 不大于500MB数据量，直接复制至本地IDE中即可。 大于500MB数据量，请先上传到OBS中，再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS，具体操作请参见上传文件至OBS桶。
保OBS桶与ModelArts在同一区域。 参考上传文件，将本地数据上传至OBS桶中。如果您的数据较多，推荐OBS Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时，请选择非加密桶进行上传，否则会由于加密桶无法解密导致后期的训练失败。
Standard数据准备 在ModelArts数据集中添加图片对图片大小有限制吗？ 如何将本地标注的数据导入ModelArts？ 在ModelArts中数据标注完成后，标注结果存储在哪里？ 在ModelArts中如何将标注结果下载至本地？ 在ModelArts中进行团队标注时，为什么团队成员收不到邮件？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
