检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取后端存储详细信息 功能介绍 获取后端存储详细信息 接口约束 该接口仅适用于SFS Turbo 20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB文件系统。 调试 您可以在API Expl
Turbo文件系统,文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶:创建1个OBS桶,存储类别为“标准存储”,桶策略为“私有”。 创建ModelArts资源池:创建1个专属资源池。 3 基本配置 配置ModelArts和SFS
文件系统加密 当您由于业务需求从而需要对存储在文件系统的数据进行加密时,弹性文件服务为您提供加密功能,可以对新创建的文件系统进行加密。 加密文件系统使用的是密钥管理服务(KMS)提供的密钥,无需您自行构建和维护密钥管理基础设施,安全便捷。当用户希望使用自己的密钥材料时,可通过KM
Turbo文件系统,将会使用用户填写的kms密钥进行加密。注意,该密钥如果删除,该文件系统的数据将无法使用。 在往文件系统的文件夹写数据的过程中会占用服务器的运行内存,但不会占用服务器磁盘的存储空间,文件系统使用的是独立空间。 父主题: 其他类
资源和成本规划 资源 资源说明 弹性云服务器ECS 云服务器和文件系统归属于同一项目下,用于挂载共享路径实现数据共享。 虚拟私有云VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境,提升用户云中资源的安全性,简化用户的网络部署。 云服务器无法访问不在同一VPC下的
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
计费因子 计费说明 计费公式 计费模式 存储费用 容量型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 按需计费 包年包月 低频型 存储空间 根据文件系统所使用的存储容量和使用时长计费 存储费用=每GB费率*使用容量*使用时长 说明:
弹性文件服务支持跨区域挂载吗? SFS容量型文件系统暂时不支持跨区域挂载。文件系统只能挂载至同一区域的弹性云服务器上。 通用文件系统不支持跨区域挂载。 SFS Turbo支持同区域(region)下跨可用区(AZ)挂载。 SFS Turbo不支持跨区域(Region)挂载;但可以
存储联动管理 绑定后端存储 查询后端存储列表 获取后端存储详细信息 删除后端存储 更新后端存储属性 更新后端存储自动同步策略 创建数据导入导出任务 查询数据导入导出任务详情 查询数据导入导出任务列表 删除数据导入导出任务 更新文件系统 父主题: SFS Turbo API说明
包括root用户在内的任何用户,NFS服务器都保持客户端使用的用户,不做映射。 root_squash:客户端使用的是root用户时,映射到NFS服务器的用户为NFS的匿名用户(nfsnobody)。客户端使用非root用户时,NFS服务器保持客户端使用的用户,不做映射。 all
Megatron框架的适配需要提前安装好pytorch及其依赖。 设置环境变量,命令如下所示: AITURBO_BACKUP_ENABLE = True 环境变量“AITURBO_BACKUP_ENABLE”用于配置是否开启内存副本,当对可靠性要求不高时可以不配置,默认为False;配置为True后,
创建 OBS 后端存储库 对象存储服务 OBS 如果需要创建 OBS 后端存储库,用户需要额外配置OBS Adminstrator权限。 通用文件系统控制台功能依赖的角色或策略 表7 通用文件系统控制台依赖服务的角色或策略 控制台功能 依赖服务 需配置角色/策略 创建通用文件系统
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 挂载NFS协议类型文件系统到云服务器(Windows) 挂载CIFS协议类型文件系统到云服务器(Windows) 自动挂载文件系统
access_type 是 String 访问存储的方式。 NFS协议文件共享只支持cert, 多协议文件共享支持cert。 说明 取值为user,指以用户名的方式访问存储, 取值为cert,指以VPCid+IP的方式访问存储。 access_to 是 String 定义访问规则的值。根据场景取值:
弹性文件服务数据迁移 方案概述 通过云专线迁移(rclone工具) 跨服务器迁移(rclone工具) 通过云专线迁移(rsync工具) 文件系统之间迁移数据 SFS容量型文件系统迁移至其他文件系统
/TiB。 SFS Turbo目录和OBS配置联动后不支持以下操作:硬链接、重命名和目录配额。 单个SFS Turbo文件系统最多可配置16个OBS联动目录。 创建 OBS 后端存储库,依赖的服务是对象存储服务 OBS。用户需要额外配置OBS Adminstrator权限。 同一
libaio-devel 查看fio版本。 fio --version 通用测试配置样例 以下提供的预估值为单台弹性云服务器ECS测试的结果。建议使用多台ECS测试,以达到弹性文件服务的性能指标。 本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge
Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS
IOPS=min(4000000,50000×容量) 其中,容量单位为TB 通用测试配置样例 以下提供的预估值为单台弹性云服务器ECS测试的结果。建议使用多台ECS测试,以达到弹性文件服务的性能指标。 本文以SFS Turbo性能型,云服务器规格如下为例说明。 规格:通用计算增强型 | c3.xlarge
在创建文件系统页面,根据界面提示配置参数。 配置完成后,单击“立即创建”,完成文件系统创建。 Linux系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Linux);Windows系统ECS挂载操作请参见挂载NFS文件系统到云服务器(Windows)和挂载CIFS文件系统到云服务器(Windows)。