检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在高性能弹性文件服务SFS Turbo和对象存储服务OBS之间进行数据迁移？ 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据。 高性能弹性文件服务SFS Turbo是华为云提
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS
Turbo内的目录与OBS对象存储桶进行关联，然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS Turbo中，加速对OBS对象存储中的数据访问；上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中，中间缓存数据可被
Turbo）提供按需扩展的高性能文件存储（NAS），可为云上多个弹性云服务器（Elastic Cloud Server，ECS）、容器（CCE&CCI）、裸金属服务器（BMS）提供共享访问。如图1所示。 图1 访问高性能弹性文件服务 与传统的文件共享存储相比，高性能弹性文件服务具有以下优势：
用户可以将本地NAS存储中的数据，通过云专线和rsync工具迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。
背景说明 用户可以将本地NAS存储中的数据，通过云专线迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS
用户可以将本地NAS存储中的数据，通过云专线和rclone工具迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。
用户可以将本地NAS存储中的数据，通过公网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储，云上服务器用于访问云上SFS
对于I/O密集型的网站业务，SFS Turbo为多个Web Server提供共享的网站源码目录，存储，提供低延迟，高IOPS的并发共享访问能力。业务特点： 大量小文件：存放网站静态文件，包括HTML文件，Json文件，静态图片等。 读I/O密集：业务以小文件读为主，数据写入相对较少。 多个Web Server访问同一个SFS
云专线/VPN 云上同区域同一账号不同VPC： VPC对等连接 云上同区域跨账号访问： VPC对等连接 不同区域访问： 云连接 本章主要介绍如何将本地NAS存储中的数据迁移至SFS Turbo，主要是通过访问公网的ECS直接挂载进行迁移，可分为以下两种网络条件： 通过mount方式挂载访问SFS
取后端存储详细信息接口去轮询绑定完成状态。 如果返回状态为AVAILABLE，代表绑定后端存储成功。 如果返回状态MISCONFIGURED，代表绑定后端存储失败。DELETING 状态暂不支持。 obs ObsDataRepository object OBS类型后端存储 表10
删除后端存储 功能介绍 删除后端存储 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
Turbo（rclone工具） 方案概述 用户可以将本地NAS存储中的数据，使用rclone工具通过公网或内网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需
如何将SFS Turbo部署至CCE？ 请根据实际的业务情况，阅读存储管理-CSI-存储概述或存储管理-Flexvolume-极速文件存储卷，并在CCE界面完成部署操作。 父主题： SFS Turbo迁移类问题
查询后端存储列表 功能介绍 查询后端存储列表 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
更新后端存储自动同步策略 功能介绍 更新后端存储自动同步策略 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API
获取后端存储详细信息 功能介绍 获取后端存储详细信息 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Expl
该接口仅支持已绑定后端存储的文件系统。该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
