检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS),可为
Windows系统建议使用CIFS协议类型的文件系统。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。 POSIX 可移植操作系统接口(Portable
华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
将文件系统和云服务器归属于同一VPC下。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务,用于网络文件远程访问,用户通过管理控制台创建挂载地址后,即可在多个云服务器上进行挂载,并通过标准的POSIX接口对文件系统进行访问。 父主题: 为文件系统创建普通用户可读写的子目录
文件系统内已上传的文件数量。 说明: 通用文件系统展示该字段。 该数据不是实时数据,平均15分钟刷新一次。 标准存储量 通用文件系统标准存储的存储总量。 说明: 通用文件系统展示该字段。 标准存储文件数 通用文件系统标准存储的文件数量。 说明: 通用文件系统展示该字段。 低频存储量 通用文件系统低频存储的存储总量。
能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。 停止计费 当云服务资源不再使用时,可以将他们退订或删除,从而避免继续收费。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情,请参见成本管理。
创建备份操作步骤 请确认目标文件系统为“可用”状态,否则无法启动备份任务。此步骤介绍如何手动创建文件系统备份。 备份SFS Turbo上一代文件系统(标准型、标准型-增强版、性能型、性能型-增强版)过程中,挂载文件系统可能会失败,正在挂载使用的连接会感知30秒左右的IO延迟,建议在业务低峰期备份。
指接口操作的方法,对REST接口而言,即为http请求操作的VERB,如:"PUT","GET","DELETE"等字符串。 Content-MD5 按照RFC 1864标准计算出消息体的MD5摘要字符串,即消息体128-bit MD5值经过base64编码后得到的字符串,可以为空。 Content-Type 内容类型,用于指定消息类型,例如:
web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表4 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS
web应用 大规模AI训练、AI大模型、AIGC 大规模AI训练、AI大模型、AIGC 表3 SFS Turbo上一代文件系统 参数 标准型 标准型-增强版 性能型 性能型-增强版 HPC缓存型 最大带宽 150MB/s 1GB/s 350MB/s 2GB/s 48GB/s 最高IOPS
单个文件系统最多允许添加20个标签。 当一个文件系统添加了多个标签,标签键不允许重复。 SFS Turbo文件系统限制 表3 SFS Turbo文件系统限制 限制项 标准型、标准型-增强版、性能型、性能型-增强版 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500
参数说明 参数 说明 当前容量 当前文件系统的容量。 目标容量 容量调整后文件系统的容量。 取值约束: 标准型、标准型-增强版、性能型、性能型-增强版:扩容步长至少为100GB起步。标准型和性能型可调整最大容量不超过32TB,增强版可调整最大容量不超过320TB。 20MB/s/TiB
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
扩容后文件系统的新容量,以GiB为单位。 SFS Turbo上一代文件系统规格类型-标准型和性能型,取值范围500~32768 GiB,扩容步长大于等于100 GiB。 SFS Turbo上一代文件系统规格类型-标准型增强版和性能型增强版。容量范围是10240~327680 GiB。扩容步长大于等于100
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp
本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。
文件系统类型,有效值为STANDARD或者PERFORMANCE。当文件系统正在创建时,该字段不返回。 SFS Turbo上一代文件系统规格类型:标准型和标准型增强版填写STANDARD,性能型和性能型增强版填写PERFORMANCE。 20MB/s/TiB、40MB/s/TiB、125MB
40MB/s/TiB 125MB/s/TiB 250MB/s/TiB 500MB/s/TiB 1000MB/s/TiB HPC缓存型文件系统 标准型、标准型-增强版、性能型、性能型-增强版类型的SFS Turbo文件系统,请使用“查询目录资源使用情况”接口。 调试 您可以在API Exp