检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFS Turbo文件系统中的数据可以跨区域迁移吗? 文件系统中的数据支持跨区域迁移,具体操作请参见数据迁移。 父主题: SFS Turbo迁移类问题
数据保护技术 数据加密 高性能弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所
数据加密 创建与卸载SFS Turbo加密文件系统 通过加密传输保护网络传输链路的数据安全
lookupcache是和目录项缓存相关的一个参数,这个参数的取值可以是all,none,pos或者positive。lookupcache=none表示客户端既不信任标记为positive的缓存,也不信任标记为negative的缓存,达到禁用缓存的效果。 解决方法 如果已挂载文件系统,请先参考卸载文件系统完成卸载操作。
本章主要介绍如何将本地NAS存储中的数据迁移至SFS Turbo,主要是通过访问公网的ECS直接挂载进行迁移,可分为以下两种网络条件: 通过mount方式挂载访问SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP进行传输迁移。 使用公网迁移
通过加密传输保护网络传输链路的数据安全 概述 加密传输功能可以通过TLS协议保护您的客户端与SFS Turbo服务之间网络传输链路上的数据安全。 加密传输涉及加解密流程,性能相比非加密传输会有部分下降。 加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络
数据迁移 数据迁移概述 通过云专线迁移本地数据至云上SFS Turbo 通过公网迁移本地数据至云上SFS Turbo
--transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --cre
训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 您可通过查询联动任务详情接口查看导入任务的完成状态。 如果您觉得数据集规模较小或数据集变化不太频繁
通过公网迁移本地数据至云上SFS Turbo 背景说明 用户可以将本地NAS存储中的数据,通过公网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具)
挂载至两种服务器系统的文件系统无法写入数据 现象描述 当将同一个文件系统分别挂载到已创建的Linux云服务器和Windows云服务器后,在Windows云服务器上无法对在Linux云服务器上创建的文件写入数据。 可能原因 由于共享的NFS文件系统归属于root权限,且无法修改该所
--transfers:传输文件的并发数目。 --checkers:扫描本地文件的并发数目。 -P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --cre
SFS Turbo数据迁移实践 SFS Turbo数据迁移实践方案概述 通过云专线迁移数据至SFS Turbo(rclone工具) 通过跨服务器迁移数据至SFS Turbo(rclone工具) 通过云专线迁移数据至SFS Turbo(rsync工具) 文件系统之间迁移数据
导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据。 数据预热功能会同时导入元数据和数据内容,数据预热中的元数据导入采用快速导入方式,不会导入其它附加元数据(如uid、gid、mode)。 数据导出功能会将您在联动目录里创建的文件,以及对从
Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
删除数据导入导出任务 功能介绍 删除数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explo
查询数据导入导出任务详情 功能介绍 查询数据导入导出任务详情 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API E
支持实现增量迁移,即只迁移发生变化的数据。 通过 rclone 工具进行同步时,在执行命令之前写入的数据,可以完全同步;在执行命令之后写入的数据,不能保证完全同步。 前提条件 已经完成云专线的购买和配置,详情请参考《云专线服务用户指南》。 已创建一台操作系统为Linux的云服务器。 已创建SFS