检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
SFS Turbo数据迁移实践方案概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问，用户可通过云专线/VPN/对等连接等方式打通网络，实现多种访问方式。 云下或其他云访问： 云专线/VPN 云上同区域同一账号不同VPC： VPC对等连接 云上同区域跨账号访问：
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
夹中。上传方法请参考obsutil命令行工具使用指导。 OBS针对不同场景提供了多种数据上云方案，您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS
--transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --cre
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 创建VPC 虚拟私
Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录SFS Turbo的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法，请参见CTS快速入门。
Turbo支持同区域（region）下跨可用区（AZ）挂载。 SFS Turbo可以通过使用云连接CC“跨区域VPC互通”方案将不同区域的vpc内网打通，从而采取指定IP的方式跨区域（Region）挂载。 当您的业务对时延、IOPS指标要求较高时，使用SFS Turbo文件系统进行同区域下跨可用区挂载或者跨
oint方案来将训练状态持久化到存储，当发生故障时，训练程序能恢复到故障之前的模型和优化器的状态继续训练。原生Pytorch系框架在保存checkpoint时均直接持久化到存储系统，耗时与模型大小、存储的IO性能等密切相关，往往需要几分钟到几十分钟不等，为了保证训练状态的一致性，
--transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --cre
Turbo文件系统到Linux云服务器 为避免已挂载SFS Turbo文件系统的云服务器重启后，挂载信息丢失，您可以在云服务器设置重启时进行自动挂载。 限制说明 部分CentOS系统的云服务器由于管理启动项的机制（服务启动顺序）不同，可能不支持以下自动挂载方案。此时，请手动挂载。 Linux系统操作步骤 以root用户登录云服务器。
Turbo（rsync工具） 方案概述 用户可以将本地NAS存储中的数据，通过云专线和rsync工具迁移至云上SFS Turbo文件系统中，进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器，来连接本地NAS存储以及云上SFS Turbo文件系统的通信，并通过这台服务器将本地NAS存储中的数据迁移至云上。
--transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --cre
Turbo（rclone工具） 方案概述 用户可以将本地NAS存储中的数据，使用rclone工具通过公网或内网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访
Turbo 背景说明 用户可以将本地NAS存储中的数据，通过公网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地NAS存储，云上服务器用于访问云上SFS
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后，单击“确定”创建关联。
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo（rclone工具） 通过跨服务器迁移数据至SFS Turbo（rclone工具） 通过云专线迁移数据至SFS Turbo（rsync工具） 文件系统之间迁移数据
附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 名称 描述 是否必选 示例 Host 请求的服务器信息，从服务API的URL中获取。值为h
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
