检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 数据通过OBS中转上传到Notebook 上传数据至OBS，具体操作请参见上传文件至OBS桶。
通过obsutil将数据集上传至OBS桶中。 ./obsutil cp .
建议前往OBS管理控制台，清理您不再使用的数据、文件夹以及OBS桶，避免产生不必要的费用。 您在创建Notebook时，选择了云硬盘EVS存储，该存储会单独收费，Notebook停止后，EVS还在计费，请及时删除该Notebook实例。
原因分析 出现该问题的可能原因如下： 在大规模分布式作业上，每个节点都在拷贝同一个桶的文件，导致OBS桶限流。 OBS Client连接数过多，进程/线程之间的轮询，导致一个OBS Client与服务端连接30S内无响应，超过超时时间，服务端断开了连接。
枚举值如下： MOUNTING：挂载中 MOUNT_FAILED：挂载失败 MOUNTED：已挂载 UNMOUNTING：卸载中 UNMOUNT_FAILED：卸载失败 UNMOUNTED：卸载完成 uri String OBS对象路径。
本案例中的训练作业需要通过SFS Turbo挂载盘的形式创建，因此需要将上述数据集、代码、权重文件从OBS桶上传至SFS Turbo中。 用户需要创建开发环境Notebook，并绑定SFS Turbo，以便能够通过Notebook访问SFS Turbo服务。
代码目录选择：OBS桶路径下的 llm_train/AscendSpeed 代码目录。
代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
代码目录选择：OBS桶路径下的 llm_train/AscendSpeed 代码目录。
上传自定义算法前，请完成算法开发并上传至OBS桶。创建算法请参考使用预置框架创建算法。创建训练作业请参考创建训练作业指导。
可以在OBS桶中创建一个父级目录，目录下面设置不同的文件夹，将多个数据集分别导出到这些文件夹里面，最后用父目录创数据集即可。 登录ModelArts管理控制台，选择“数据管理>数据集”进入数据集概览页，单击右上角“导出”，将对应的数据集到导出至OBS父级目录下的子文件夹中。
dataset_list = Dataset.list_datasets(session, offset=1, limit=50) # 查询第51-100条记录 print(dataset_list) 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象
表格型数据来源 表格数据集支持从5种数据源导入数据，分别为对象存储服务（OBS）、数据仓库服务（DWS）、数据湖探索服务（DLI）、MapReduce服务（MRS）和本地上传。 数据集中的数据导入入口 数据集中的数据导入有5个入口。
具体操作请参见上传文件至OBS桶。 或者在本地VS Code的Terminal中使用ModelArts SDK完成数据上传至OBS。首先在本地VS Code中单击上方菜单栏的“Terminal”。在Terminal中输入python并回车，进入python环境。
代码目录选择：OBS桶路径下的 llm_train/AscendSpeed 代码目录。
代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
