检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考《云备份用户指南》的“快速创建SFS Turbo备份”章节,完成创建备份存储库的操作,再根据创建文件系统备份完成创建备份操作。 系统会自动进行文件系统的备份。 您可以在备份页面,查看备份创建状态。当文件系统备份的“备份状态”变为“可用”时,表示备份创建成功。 在云备份控制台使用备份创建新文件系统
数据保护技术 数据加密 高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据。 数据预热功能会同时导入元数据和数据内容,数据预热中的元数据导入采用快速导入方式,不会导入其它附加元数据(如uid、gid、mode)。
数据加密 创建与卸载SFS Turbo加密文件系统 通过加密传输保护网络传输链路的数据安全
checkpoint秒级同步保存,避免训练任务长时间阻塞,异步保存阶段,主节点持久化过程中,内存中写入了相同检查点的备节点会持续监听主节点的保存结果。保存失败之后,备节点会接管主节点的持久化操作,代替主节点将检查点持久化下去,保证可靠性。 图1 保存checkpoint流程 加速加载checkpoint
目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
transfers:传输文件的并发数目。 checkers:扫描本地文件的并发数目。 P:数据拷贝进度。 等待数据完成同步后,可前往目标SFS Turbo文件系统查看是否已成功迁移。 父主题: 数据迁移
数据迁移 数据迁移概述 通过云专线迁移本地数据至云上SFS Turbo 通过公网迁移本地数据至云上SFS Turbo
情况。 rsync -version 图2 查看工具安装情况 您可以执行rsync命令迁移存量数据或迁移增量数据。 迁移存量数据:执行以下命令,将源端服务器/mnt/src目录中的数据全量同步迁移至目的端服务器/mnt/dst目录(SFS Turbo文件系统)中。 rsync -avP
数据迁移概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问,用户可通过云专线/VPN/对等连接等方式打通网络,实现多种访问方式。 云下或其他云访问: 云专线/VPN 云上同区域同一账号不同VPC: VPC对等连接 云上同区域跨账号访问: VPC对等连接 不同区域访问:
目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
Turbo权限,用来控制文件系统的读写权限。 全部 备份SFS Turbo文件系统 备份是文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时,可快速使用备份恢复数据。 全部 加密SFS Turbo文件系统
删除SFS Turbo文件系统 文件系统删除后,文件系统中存放的数据将无法恢复。为避免数据丢失,执行删除操作前,请确认存放在该文件系统中的文件都已经在本地备份。 前提条件 删除文件系统之前,建议先卸载已挂载的文件系统。卸载操作请参见卸载SFS Turbo文件系统。 操作步骤 登录高性能弹性文件服务管理控制台。
Turbo文件系统后,您还可以结合业务需求使用以下高阶功能。 备份:通过使用CBR备份能力,当您的SFS Turbo文件系统出现故障或SFS Turbo文件系统中的数据发生逻辑错误时(如误删数据、遭遇黑客攻击或病毒危害等),可快速使用备份恢复数据。 扩容:当您认为SFS Turbo文件系统的容
数据。当您的文件系统出现故障或文件系统中的数据发生逻辑错误等时,可快速使用备份恢复数据。 支持区域: 全部 备份 加密 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,SFS Turbo为您提供加密功能,可以对新创建的文件系统进行加密。 支持区域: 全部 文件系统加密 扩容
CAE/CAD等涉及仿真软件,在进行数据计算时需要计算节点之间进行紧密的通信,要求文件系统高带宽、低时延。 生物科学:要求参与大数据计算的文件系统高带宽、高存储且易于扩展。 对生物基因数据进行测序、拼接、比对等处理,提供基因组信息以及相关数据系统的生物信息学领域。 进行大规模分子