检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS管理概述 ModelArts SDK 1.1.3支持对OBS进行管理，主要涵盖上传下载文件和文件夹。具体包括如下操作： 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹 父主题： OBS管理
ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后，其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境
创建项目时，如何快速创建OBS桶及文件夹？ 在创建项目时需要选择训练数据路径，本章节将指导您如何在选择训练数据路径时，快速创建OBS桶和OBS文件夹。 在创建自动学习项目页面，单击数据集输入位置右侧的“”按钮，进入“数据集输入位置”对话框。 单击“新建对象存储服务（OBS）桶”，进入创建
如何上传数据至OBS？ 使用ModelArts进行AI模型开发时，您需要将数据上传至对象存储服务（OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，然后再进行数据的上传，OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建OBS桶时，需
如何使用pandas库处理OBS桶中的数据？ 参考下载OBS文件到Notebook中的指导，将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题： 数据存储
改。 创建OBS桶时，桶的存储类别请勿选择“归档存储”和“深度归档存储”，归档存储的OBS桶会导致模型训练失败。 图1 查看OBS桶是否加密 检查OBS文件是否为加密文件 进入OBS管理控制台，单击桶名称进入概览页。 单击左侧菜单栏对象，进入对象列表。单击存放文件的对象名称，并找
如何提升训练效率，同时减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
在ModelArts运行态的Notebook容器中，采用动态挂载特性，将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具，将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。 动态挂载适用于哪些使用场景 场景1：数据集预览和操作，将承载数据集的OBS挂载至Notebook中，可以像本地文件系统一样操作数据集。
予桶的读写权限指导，授予当前账号OBS桶的读写权限。此操作指导是某一华为云账号将其OBS桶权限授予其他华为云账号。如果您的账号是IAM用户或其他场景时，请参见《OBS权限配置指南 》> 典型场景配置案例，查找授予OBS桶权限的指导。 获得OBS桶的读写权限后，您可以在Notebo
作业、在线/批量/边缘服务 ModelArts Studio（MAAS） 运行日志（不开启则不计费） 由云日志服务（LTS）提供日志收集、分析、存储等服务。 部署服务时，开启“运行日志输出”后，日志数据超出LTS免费额度后，会产生费用。具体可参考云日志服务价格详情 按实际日志量付费
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具，使用该工具可以对OBS进行常用的配置管理操作，如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命
购买弹性文件服务SFS 购买对象存储服务OBS 购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 购买弹性云服务器ECS 基本配置： 权限配置 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutils安装和配置
创建项目的时候，数据集输入位置没有可选数据 可能原因 创建的OBS桶与创建项目不在同一个区域。 账号没有配置全局授权。 OBS桶里的数据格式不符合要求。 解决方法 查看ModelArts创建的项目与创建的OBS桶是否在同一区域。 查看创建的OBS桶所在区域。 登录OBS管理控制台。 进入“对象存储”界面，可在桶列表的“
数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv，文件大小不能超过8MB。 以换行符作为分隔符，每行数据代表一个标注对象。 文本分类目前只支持中文。 数据上传至OBS 在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。
ModelArts的API和SDK不支持模型下载到本地，但训练作业输出的模型是存放在对象存储服务（OBS）里面的，您可以通过OBS的API或SDK下载存储在OBS中的文件，具体请参见从OBS下载文件。 父主题： API/SDK
数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件存储在OBS中。 训练模型 训练作业使用的数据集存储在OBS中。 训练作业的运行脚本存储在OBS中。 训练作业输出的模型存储在指定的OBS中。 训练作业的过程日志存储在指定的OBS中。 AI应用管理
ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后，其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境
存和加载带来的I/O挑战，华为云提供了基于对象存储服务OBS+高性能弹性文件服务SFS Turbo的AI云存储解决方案，如下图所示。 SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果
在使用MaaS服务时，需要先完成OBS桶、资源池等准备工作。 准备OBS桶 在ModelArts Studio大模型即服务平台创建自定义模型、调优或压缩模型时，需要在对象存储服务OBS中创建OBS桶，用于存放模型权重文件、训练数据集或者是存放永久保存的日志。 创建OBS桶和上传文件的操作指导请参见OBS控制台快速入门。
no 数据上传至OBS 在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范： 预测分析项目的OBS数据路径需符合以下规则： 输入数据的OBS路径应指向数据文件，且文件不能直接放在OBS桶的根目录下，应该存放在OBS桶的文件夹内。如：“/obs-xxx/data/input
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
