检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
储桶中的对象，用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联，然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动，可以将最新的训练数据导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。
s Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代
s Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代
s Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代
导出ModelArts数据集中的数据 针对数据集中的数据，用户可以选中部分数据或者通过条件筛选出需要的数据，导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal
import_folder 否 String 导入后在数据集存储目录下子目录的名称。多次不同导入可以指定同一个子目录，避免相同样本重复导入。注：对表格数据集不可用。 import_origin 否 String 数据来源。可选值如下： obs：OBS桶（默认值） dws：GaussDB(DWS)服务
s Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代
Vnt1），存储方案推荐使用“SFS（存放数据和代码）”。 多机多卡：大数据量（1T训练数据）、高算力场景（4台8卡Vnt1），存储方案推荐使用“SFS（存放数据）+普通OBS桶（存放代码）”，采用分布式训练。 当使用SFS+OBS的存储方案可以实现存储加速，该方案的端到端实践案例请参见面向AI场景使用OBS+SFS
过资源池的容器引擎空间大小的一半。镜像过大会直接影响训练作业的启动时间。ModelArts公共资源池的容器引擎空间为50G，专属资源池的容器引擎空间的默认为50G，支持在创建专属资源池时自定义容器引擎空间。 用于训练的自定义镜像的默认用户必须为“uid”为“1000”的用户。 Standard推理的创建模型
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 （可选）工作空间配置 父主题： 专属资源池训练
供轻量级的虚拟化，以便隔离进程和资源。尽管容器技术已经出现很久，却是随着Docker的出现而变得广为人知。Docker是第一个使容器能在不同机器之间移植的系统。它不仅简化了打包应用的流程，也简化了打包应用的库和依赖，甚至整个操作系统的文件系统能被打包成一个简单的可移植的包，这个包
建了一个数据集，数据是存储在OBS中的。按照存储费用结算，那么数据存储到OBS的费用计算如下： 存储费用：数据管理模块的数据通过对象存储服务（OBS）上传或导出，存储计费按照OBS的计费规则。具体费用可参见对象存储价格详情。 综上，数据管理的费用 = 存储费用 父主题： 计费项
Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个数据集实例视作一个资产仓库，数据集实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓库有个名为“Test”的仓库，其中只存放Test模型实例的全部文件。
s Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代
Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档需要将运行代码以及输入输出数据存放OBS，请提前创建OBS（参考创建OBS桶），例如桶
Gallery显示的资产名称。 来源 可选择“ModelArts”、“对象存储服务（OBS）”、“本地上传”。 ModelArts区域 选择当前控制台所在的区域。 OBS区域 选择与当前控制台一致的区域。 存储位置 用来存储发布的资产。 数据类型 当前数据集的数据类型。 选择数据集
动态卸载OBS 功能介绍 卸载后，OBS存储中的对象保持不变，Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
如果模型超过默认配额值，需要提工单申请扩大单个模型的大小配额。单个模型大小配额默认值为20GB。 需要提工单申请添加使用节点本地存储缓存的白名单。 上传模型数据并校验上传对象的一致性 为了动态加载时保证数据完整性，需要在上传模型数据至OBS时，进行上传对象的一致性校验。obsutil、OBS Browser+以及OBS
说明 path String 存储路径。 如果type为“obs”类型，该值必须填写，该值需为有效的OBS桶路径，且以“/”结束。不能指定为OBS桶的根目录，需指定为OBS桶下的具体目录。 如果type为“obsfs”类型，该值需为有效的OBS并行文件系统的桶名（当前CCE不支持挂载子目录）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
