检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts上如何提升训练效率并减少与OBS的交互？ 场景描述 在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。
使用管理员账号登录控制台，单击右上角用户名，在下拉框中选择“统一身份认证”，进入IAM服务。 图2 登录控制台 创建自定义策略1，赋予用户IAM和OBS服务权限。在统一身份认证服务控制台的左侧菜单栏中，选择“权限管理> 权限”。
处理方法 对于OBS连接不稳定的现象，通过增加代码来解决。
在ModelArts的Notebook中，如何访问其他账号的OBS桶？ 创建Notebook时选择OBS存储，这种情况下只能访问到自己账号下的桶，无法访问到其他账号的OBS桶。 如果需要在Notebook中，访问其他账号的OBS文件，前提是，需获取目标OBS桶的读写权限。
MoXing包含很多组件，其中MoXing Framework模块是一个基础公共组件，可用于访问OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。
父主题： OBS操作相关故障
购买对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式，用户可以根据实际需求购买OBS服务。OBS服务支持以下两种存储方式，单机单卡场景使用文件系统，多机多卡场景使用普通OBS桶。
OBS对象存储服务 授予子账号使用OBS服务的权限。ModelArts的数据管理、开发环境、训练作业、模型推理部署均需要通过OBS进行数据中转。 OBS OperateAccess 必选 SWR容器镜像仓库 授予子账号使用SWR服务权限。
##本示例以AK和SK保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ##安装obsutil，完成AKSK配置。建议在基础镜像里做好。
桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。
父主题： OBS操作相关故障
单击“新建对象存储服务（OBS）桶”，进入创建桶页面，具体请参见《对象存储服务控制台指南》中的创建桶章节。 图1 快速创建OBS桶 桶创建完成后，选择对应桶名称，单击“新建文件夹”，在“新建文件夹”对话框中，填写文件夹“名称”，单击“确定”完成创建，选择创建的文件夹。
单击“新建对象存储服务（OBS）桶”，进入创建桶页面，具体请参见《对象存储服务控制台指南》中的创建桶章节。 图1 快速创建OBS桶 桶创建完成后，选择对应桶名称，单击“新建文件夹”，在“新建文件夹”对话框中，填写文件夹“名称”，单击“确定”完成创建，选择创建的文件夹。
此处的“trainJob”为项目级云服务、“trainJobobs”为全局级云服务。了解更多 创建用户组并加入用户，步骤请参考Step1 创建用户组并加入用户。 给用户组授权策略。 在IAM服务的用户组列表页面，单击“授权”，进入到授权页面，为子账号配置权限。
日志提示“Please set the train_url to an empty obs directory” 问题现象 日志提示“Please set the train_url to an empty obs directory”。
在ModelArts的Notebook中如何使用pandas库处理OBS桶中的数据？ 参考下载OBS文件到Notebook中的指导，将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题： Standard Notebook
请参考OBS服务端错误码或者采集request id后向OBS客服进行咨询。 如果是空间不足。 参考 常见的磁盘空间不足的问题和解决办法章节处理。 父主题： 云上迁移适配故障
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： MLLM多模态模型训练推理
Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： MLLM多模态模型训练推理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
