检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
左侧导航栏选择“通用文件系统”,跳转到通用文件系统控制台。 在文件系统列表中,单击文件系统名称进入文件系统基本信息页面。 在“生命周期管理”页签,单击“创建规则”,系统弹出如图2所示对话框。 图1 生命周期管理页面 图2 创建生命周期规则 配置生命周期规则。 状态:选中“启用”,启用本条生命周期规则。
IAM) 权限管理 文件系统的加密功能依赖于密钥管理服务。您可以使用密钥管理服务提供的密钥来加密文件系统,从而提升文件系统中数据的安全性。 数据加密服务(Data Encryption Workshop, DEW)的密钥管理KMS功能 加密 当用户开通了弹性文件服务后,无需额外
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
SFS容量型文件系统迁移至其他文件系统 方案概述 用户可以将SFS容量型文件系统中的数据迁移至通用文件系统或SFS Turbo文件系统中。 此方案通过创建一台Linux操作系统的云服务器,来连接SFS容量型文件系统和其他文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。
每个账号最多可以创建多少个文件系统? 目前一个账号最多可以创建10个SFS容量型文件系统和10个SFS Turbo文件系统。 目前每个账号可创建的通用文件系统默认数量上限为100个。 SFS容量型文件系统支持同时创建多个。当需要创建多于10个SFS容量型文件系统时,可在创建文件系统页面单击“申请扩大配额”提交申请。
概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别?
FS Turbo。 通过公网将云上NAS存储数据迁移至SFS Turbo中也可以参考本方案完成。 约束与限制 暂不支持使用公网迁移本地NAS存储至SFS容量型文件系统。 仅支持使用Linux系统的云服务器进行数据迁移。 文件UID和GID在同步操作后将不再保持一致。 文件访问模式同步操作后不再保持一致。
在文件系统中存放的单个文件最大支持多少? SFS容量型文件系统支持存放最大为240TB的单个文件。 SFS Turbo文件系统支持存放最大为320TB的单个文件。 通用文件系统支持存放最大为240TB的单个文件。 父主题: 规格类
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
/v1/{project_id}/sfs-turbo/shares/detail sfsturbo:shares:getAllShares - √ √ 查询单个文件系统详细信息 GET /v1/{project_id}/sfs-turbo/shares/{share_id} sfsturbo:shares:getShare
充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。 根据界面提示信息,对账户进行充值。 充值成功后,退出充值界面,返回管理控制台首页。 使用弹性文件服务。 选择“存储 > 弹性文件服务”,进入弹性文件服务管理控制台。 单击“创建文件系统”,SFS Turbo文件系统
弹性文件服务支持哪些访问协议? SFS容量型支持标准的NFSv3协议和CIFS协议;SFS Turbo和通用文件系统支持标准的NFSv3协议。 父主题: 规格类
文件系统可以跨账号挂载使用吗? 通用文件系统暂不支持跨账号挂载使用。 SFS容量型文件系统北京四已上线跨账号挂载使用功能。 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: 限制类
不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移(rclone工具) 通过云专线迁移(rsync工具) 无法打通网络直接挂载,可以通过公
选择弹性文件服务,进入SFS主界面,单击右上角“创建文件系统”,尝试创建文件系统,如果无法创建文件系统,则表示以下权限已生效: 弹性文件服务(SFS容量型文件系统):“SFS ReadOnlyAccess” 弹性文件服务(SFS Turbo文件系统):“SFS Turbo ReadOnlyAccess”
调用说明 SFS容量型/SFS Turbo提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用SFS容量型/SFS Turbo API。 通用文件系统提供了REST(Representational
配额管理 功能介绍 查询配额信息。 URI GET /v2/{project_id}/os-quota-sets/{project_id} 参数说明 参数 是否必选 参数类型 描述 project_id 是 String 操作用户的项目ID,获取方法请参见获取项目ID。 project_id
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
不同区域访问: 云连接 迁移数据分为两种网络条件,通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo,将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移 无法打通网络直接挂载,可以通过公网访问华为云ECS绑定的EIP,也可进行传输迁移。 使用公网迁移