检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。
ModelArts Lite资源池对应的CCE集群需要安装1.10.12及以上版本的华为云版Volcano插件。Volcano调度器的安装升级请参见Volcano调度器。仅华为云版Volcano插件支持开启路由加速特性。
并根据handler对象对数据集进行解析。
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。
由于ModelArts较多功能需使用OBS中存储的数据，用户可使用OBS SDK进行调用，使用OBS存储您的数据。 OBS提供了多种语言SDK供选择，开发者可根据使用习惯下载OBS SDK进行调用。使用OBS SDK前，需下载OBS SDK包，然后在本地开发环境中安装使用。
图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。
处理方法 对于OBS连接不稳定的现象，通过增加代码来解决。
图3 输入有效的OBS文件路径 此处输入的是具体的OBS文件路径，不是文件夹的路径，否则会导致上传失败。 方式二：打开OBS File Browser选择OBS文件路径，然后单击“上传”，开始上传文件。 图4 上传OBS文件 异常处理 提示文件上传失败，有以下三种常见场景。
图3 多机同步权重文件 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
OBS对象存储服务 授予子账号使用OBS服务的权限。ModelArts的数据管理、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子账号使用SWR服务权限。
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明： 软件包名称中的
”，适用于访问自己名下的OBS数据；您可以访问OBS服务的对象获取路径。
并根据handler对象对数据集进行解析。
桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。
Step3 为用户配置ModelArts的委托访问授权 配置完IAM权限之后，需要在ModelArts页面为子账号设置ModelArts访问授权，允许ModelArts访问OBS、SWR、IEF等依赖服务。 此方式只允许主用户为子账号进行配置。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该
图3 多机同步权重文件 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908）
父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909）
父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
