检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公
方案概述 应用场景 文件系统创建成功后,文件系统默认情况下只有root用户具有读写权限。 root用户可以根据需要,可以授权多个普通用户访问权限,并在文件主目录下为每个普通用户创建多个子目录并挂载至主目录上,同时使普通用户拥有读写权限。 操作流程 为文件系统创建普通用户可读写的子目录的流程如图1所示。
用户可以将本地NAS存储中的数据,通过云专线迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS
下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考obsutil命令行工具使用指导。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS
数据迁移 迁移说明 通过云专线迁移 使用公网迁移 文件系统之间迁移数据 父主题: 其他操作
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
数据保护技术 数据加密 弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置
OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。
文件系统之间迁移数据 方案概述 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中,也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中,进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和SFS
创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。
Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案,具体说明请参考云上NAS数据迁移至弹性文件服务。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。
通过云专线迁移(rsync工具) 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rsync工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,
于访问云上SFS Turbo。 通过公网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。
快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据。 数据预热功能会同时导入元数据和数据内容,数据预热中的元数据导入采用快速导入方式,不会导入其它附加元数据(如uid、gid、mode)。
SFS容量型文件系统迁移至其他文件系统 方案概述 用户可以将SFS容量型文件系统中的数据迁移至通用文件系统或SFS Turbo文件系统中。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和其他文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 Lin
跨服务器迁移(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,使用rclone工具通过公网或内网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
删除数据导入导出任务 功能介绍 删除数据导入导出任务 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统 调试 您可以在API Explo