检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BS对象存储桶中的数据提前导入到SFS Turbo中，加速对OBS对象存储中的数据访问；上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中，中间缓存数据可被下游业务环节继续读取并处理，结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储。同时，
删除后端存储 功能介绍 删除后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
file_mode 否 Integer 导入的文件权限。取值范围是0到777。 第一位表示文件所有者的权限，取值范围是0到7；第二位表示文件所属用户组的权限，取值范围是0到7；第三位表示其他用户的权限，取值范围是0到7。文件所有者由uid指定，文件所属用户组由gid指定，不是文件所
object 后端存储属性 表4 ObsTargetAttributes 参数 是否必选 参数类型 描述 file_mode 否 Integer 导入的文件权限。取值范围是0到777。 第一位表示文件所有者的权限，取值范围是0到7；第二位表示文件所属用户组的权限，取值范围是0到7；第三位
存储联动管理 绑定后端存储 查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题： API
描述 file_mode Integer 导入的文件权限。取值范围是0到777。 第一位表示文件所有者的权限，取值范围是0到7；第二位表示文件所属用户组的权限，取值范围是0到7；第三位表示其他用户的权限，取值范围是0到7。文件所有者由uid指定，文件所属用户组由gid指定，不是文件所
描述 file_mode Integer 导入的文件权限。取值范围是0到777。 第一位表示文件所有者的权限，取值范围是0到7；第二位表示文件所属用户组的权限，取值范围是0到7；第三位表示其他用户的权限，取值范围是0到7。文件所有者由uid指定，文件所属用户组由gid指定，不是文件所
Array of strings 后端存储自动导出到OBS桶的数据更新类型。 NEW：表示新增数据，SFS Turbo联动目录下创建的文件，及之后对这些文件进行的元数据和数据修改，会被自动同步到OBS桶里。 CHANGED：表示修改数据，从OBS桶里导入到SFS Turbo联动目录下的文件，在SFS
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS
更新文件系统 功能介绍 更新文件系统冷数据淘汰时间 接口约束 该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。
dir_mode 否 Integer 导入的目录权限。取值范围是0到777。 第一位表示目录所有者的权限，取值范围是0到7；第二位表示目录所属用户组的权限，取值范围是0到7；第三位表示其他用户的权限，取值范围是0到7。目录所有者由uid指定，目录所属用户组由gid指定，不是目录所
checkpoint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统，耗时与模型大小、存储的IO性能等密切相关，往往需要几分钟到几十分钟不等，为了保证训练状态的一致
server error" } 状态码 状态码 描述 202 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题： 存储联动管理
server error" } 状态码 状态码 描述 200 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题： 存储联动管理
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
挂载NFS协议类型文件系统到云服务器（Linux） 当创建文件系统后，您需要使用云服务器来挂载该文件系统，以实现多个云服务器共享使用文件系统的目的。 裸金属服务器、容器（CCE&CCI）操作与云服务器一致。 将SFS Turbo文件系统挂载至CCE：请参考存储管理-CSI-存储概述或存储管理-Fl
server error" } 状态码 状态码 描述 200 成功 400 错误响应 500 错误响应 错误码 请参见错误码。 父主题： 存储联动管理
HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶：创建1个OBS桶，存储类别为“标准存储”，桶策略为“私有”。 创建ModelArts资源池：创建1个专属资源池。
HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
