检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。
出现该问题的可能原因如下: OBS服务的权限出现问题，导致无法正常读取数据 处理方法 请检查OBS权限配置，如未解决问题可参考OBS文档的已配置OBS权限，仍然无法访问OBS（403 AccessDenied）。 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境
从OBS导入数据到数据集场景介绍 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录：指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径，且OBS路径内的目录结构需满足规范，详细规范请参见从OBS目录导入数据规范
模型管理 创建模型失败，如何定位和处理问题？ 导入模型提示该账号受限或者没有操作权限 用户创建模型时构建镜像或导入文件失败 创建模型时，OBS文件目录对应镜像里面的目录结构是什么样的？ 通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 通过O
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理
业或在线服务，都已经处于停止状态，即总览页面没看到收费项目，仍然发现账号还在计费。 有以下几种可能情况： 因为您在使用ModelArts过程中，将数据上传至OBS进行存储，OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台，清理您不再使用的数据、文件夹以及OBS桶，避免产生不必要的费用。
模型管理计费项 计费说明 在ModelArts创建模型不收费，但在通过OBS导入模型时，需要先将模型包文件存放到OBS中，OBS会产生费用。存储资源包括数据存储到OBS的计费。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS
不少于20张。 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力，数据集尽量覆盖可能出现的各种场景。 数据上传至OBS 在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范： 文件名规范：不能有+、空格、制表符。 如不需
企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。
企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。
企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。
企业的华为方技术支持。 提示：本文档适用于仅使用OBS对象存储服务（Object Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。 适配的CANN版本是cann_8
调用创建ModelArts委托接口完成包含OBS、SWR等依赖服务的ModelArts委托。 调用配置授权接口配置ModelArts授权。该接口支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。 若没有授权，ModelArts服务的数据管理、训练管理、开发环境、在线服务等功能将不能正常使用。 调用查看授权列表接口查看用户的授权信息。
增加了和OBS交互工作的整个训练流程如下： 建议使用OBSutil作为和OBS交互的工具，如何在本机安装obsutil可以参考安装和配置OBS命令行工具。 训练数据、代码、模型下载。（本地使用硬盘挂载或者docker cp，在ModelArts上使用OBSutil） 启动脚本，用法无切换，一般就是到达执行目录，然后python
file.copy('obs://bucket_name/obs_file.txt', 'obs://bucket_name/obs_file_2.txt') 将OBS文件复制到本地，也就是下载一个OBS文件。例如下载“obs://bucket_name/obs_file.txt”到本地“/tmp/obs_file
source 是 被标注对象的URI。数据来源的类型及示例请参考表2。 usage 否 默认为空，取值范围： TRAIN：指明该对象用于训练。 EVAL：指明该对象用于评估。 TEST：指明该对象用于测试。 INFERENCE：指明该对象用于推理。 如果没有给出该字段，则使用者自行决定如何使用该对象。
Moxing主要使用场景为提升从OBS读取和下载数据的易用性，适配对象为OBS对象桶，对于OBS并行文件系统部分接口可能存在问题，不建议使用。生产业务代码开发建议直接调用OBS Python SDK，详情请参见Python SDK接口概览。 为什么要用mox.file 使用Python打开一个本地文件，如下所示：
通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 问题现象 用户通过OBS导入模型时，选择使用基础镜像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在“在线服务”的日志中查看到部分内容。
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题： 数据管理
变化都可能会影响模型的质量，如不能统一管理开发流程元数据，可能会出现无法重现最优模型的现象。 ModelArts的模型可导入所有训练生成的元模型、上传至对象存储服务（OBS）中的元模型和容器镜像中的元模型，可对所有迭代和调试的模型进行统一管理。 约束与限制 自动学习项目中，在完成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
