检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前指令微调数据集支持alpaca格式和sharegpt格式的数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
准备数据（可选） 此小节为自定义数据集执行过程，如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集，目前支持alpaca格式和sharegpt格式的微调数据集；使用自定义数据集时，请更新代码目录下data/dataset_info
数据保护技术 ModelArts通过多种数据保护手段和特性，保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息，如用户邮箱和手机号，AI Gallery在数据库中做了加密处理。其中，加密算法采用了国际通用的AES算法。
支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分类 物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 图像分割 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分割 支持 可以导入未标注或已标注数据
从OBS导入数据到ModelArts数据集 从OBS导入数据到数据集场景介绍 从OBS目录导入数据到数据集 从Manifest文件导入数据到数据集 从OBS目录导入数据规范说明 从Manifest文件导入规范说明 父主题： 导入数据到ModelArts数据集
数据集中的数据导入有5个入口。 创建数据集时直接从设置的数据导入路径中自动同步数据。 创建完数据集后，在数据集列表页面的操作栏单击“导入”，导入数据。 图1 在数据集列表页导入数据 在数据集列表页面，单击某个数据集的名称，进入数据集详情页中，单击“导入>导入”，导入数据。 图2 在数据集详情页中导入数据
>数据集”，进入“数据集”管理页面。 在数据集所在行，单击操作列的“导入”。 或者，您可以单击数据集名称，进入数据集“概览”页，在页面右上角单击“导入”。 在“导入”对话框中，参考如下说明填写参数，然后单击“确定”。 “数据来源”：“本地上传” “上传数据存储路径”：数据存储的OBS路径。 “上传
"dataset-image" # 数据集名称 data_type = "IMAGE" # 数据集类型，图像类型数据集 data_sources = dict() # 数据集数据来源 data_sources["type"] = 0 # 数据来源类型，0表示OBS
Standard数据准备 在ModelArts数据集中添加图片对图片大小有限制吗？ 如何将本地标注的数据导入ModelArts？ 在ModelArts中数据标注完成后，标注结果存储在哪里？ 在ModelArts中如何将标注结果下载至本地？ 在ModelArts中进行团队标注时，为什么团队成员收不到邮件？
更新数据集 更新数据集的名称和描述信息。 dataset.update_dataset(dataset_name=None, description=None) 示例代码 更新数据集名称 from modelarts.session import Session from modelarts
ts数据集。 提供多种数据接入方式，支持用户从OBS，MRS，DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子，帮助用户扩增数据，增加训练用的数据量。 帮助用户提高数据的质量。 提供图像、文本、音频、视频等多种格式数据的预览，帮助用户识别数据质量。 提供对数据进行多
导出ModelArts数据集中的数据到AI Gallery 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，导出到AI Gallery。用户可以通过任务历史查看数据导出的历史记录。发布到AI Gallery中的数据集，可以设置是否公开，将数据集公开给其他人使用。
更新数据集 功能介绍 修改数据集的基本信息，如数据集名称、描述、当前版本或标签等信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v2/{projec
Schema列表。 status Integer 数据集状态。当前可选值： 0：数据集创建中 1：数据集正常 2：数据集删除中 3：数据集已删除 4：数据集异常 5：数据集同步中 6：数据集发布中 7：数据集版本切换中 8：数据集导入中 third_path String 第三方路径。
Lite Cluster高危操作一览表 当您在CCE、ECS或BMS服务控制台直接操作ModelArts Lite Lite Cluster资源时，可能会导致资源池部分功能异常。下表可帮助您定位异常出现的原因，风险操作包括但不限于以下内容。 高危操作风险等级说明： 高：对于可能直
创建ModelArts数据清洗任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在“数据处理”页
创建ModelArts数据增强任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在“数据处理”页
特权池信息数据显示均为0%如何解决？ 问题现象 特权池基本信息页面数据均显示为0%（如CPU使用率、内存使用率、加速卡使用率、加速卡显存使用率）。 原因分析 原因是集群没有安装ICAgent。新建特权池时默认会安装ICAgent，可能由于用户自行卸载ICAgent，导致资源池数据显示异常。
创建ModelArts数据校验任务 前提条件 数据已准备完成：已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台，在左侧的导航栏中选择“数据准备>数据处理”，进入“数据处理”页面。 在“数据处理”页
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
