检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持实现增量迁移，即只迁移发生变化的数据。 通过 rclone 工具进行同步时，在执行命令之前写入的数据，可以完全同步；在执行命令之后写入的数据，不能保证完全同步。 前提条件 已经完成云专线的购买和配置，详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS
在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具，否则将会报错。 安装完成后，可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 执行以下
跨服务器迁移（rclone工具） 方案概述 用户可以将本地NAS存储中的数据，使用rclone工具通过公网或内网迁移至云上SFS Turbo中，进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器，将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允
Turbo性能测试 fio是一个开源的I/O压力测试工具，可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
Turbo性能测试 fio是一个开源的I/O压力测试工具，可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux
Turbo，SFS Turbo）提供按需扩展的高性能文件存储，支持同时为多个弹性云服务器（Elastic Cloud Server, ECS）提供文件共享服务。高性能弹性文件服务提供标准的文件访问协议NFS（仅支持NFSv3）和SMB，用户可以将现有应用和工具与高性能弹性文件服务无缝集成。
训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间
按需转包年/包月 如果您需要长期使用当前按需购买的文件系统，可以将该文件系统转为包年/包月计费模式，以节省开支。按需计费变更为包年/包月会生成新的订单，用户支付订单后，包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16购买了一个按需计费的文件系统，由于业务需要，于2023/04/18
Turbo后，可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统，并访问其中的数据。 登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。
户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先。 如果您给用户授予SFS Turbo FullAccess的系统策略，但不希望用户拥有SFS Turbo FullAccess中定义的删除文件系统权限，您可以创建一条拒绝删除文件系统的自定义策略，然后同时将SFS
Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁，不需要通过数据联动来做数据导入导出，您可借助外部工具将数据从OBS迁移到SFS T
您可以使用高性能弹性文件服务作为容器的持久化存储，在创建任务负载的时候挂载到容器上。 云容器引擎（Cloud Container Engine，简称CCE） 挂载NFS文件系统到云服务器（Linux） VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云中资源的安全性，简化用户的网络部署。
和群组的归属关系，通过绑定LDAP服务器，当一个用户访问您的文件系统的文件时，SFS Turbo将会访问您的LDAP服务器以进行用户身份验证，并且获取用户和群组的归属关系，从而进行Linux标准的文件UGO权限的检查。要使用此功能，首先您需要搭建好LDAP服务器（当前SFS Turbo仅支持LDAP
本文介绍了SFS Turbo提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 SDK列表 表1提供了SFS Turbo服务支持的SDK列表，您可以在GitHub
通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 （支持的具体版本参考对应方式的指导文档） 指导文档 管理控制台 Windows 控制台指南 OBS Browser+ Windows OBS Browser+工具指南 obsutil（推荐） Windows/Linux
迁移数据分为两种网络条件，通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo，将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移（rclone工具） 通过云专线迁移（rsync工具） 无法打通网络直接挂载，可以通过公网访问华为云ECS绑定的EIP，也可进行传输迁移。
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态，请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
--transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --cre
高性能弹性文件服务数据迁移 方案概述 通过云专线迁移（rclone工具） 跨服务器迁移（rclone工具） 通过云专线迁移（rsync工具） 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
--transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --cre
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
