检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 数据加密 弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置
在保存checkpoint的时候,利用两阶段写、内存副本、异步持久化等技术保证checkpoint的快速、高可靠存储。具体地,第一阶段,各个节点将自己的checkpoint高速同步写入HOST侧的内存缓存中,同时写入配置好的backup节点内存缓存中,backup的内存副本可以在主节点
生命周期管理 创建文件系统 查询文件系统详细信息 删除文件系统 获取文件系统列表 扩容文件系统 父主题: SFS Turbo API说明
加速保存与加载checkpoint 加速原理与安装AITurbo SDK 适配pytorch 父主题: AITurbo AI场景加速
了解更多常见问题、案例和解决方案 热门案例 是否支持跨VPC访问文件系统? VPC的安全组是否影响弹性文件服务的使用? 同时挂载至两个服务器的文件系统数据存在延时怎么办? 如何购买弹性文件服务? 如何查看资源包的使用量? 如何确认Linux云服务器上的文件系统处于可用状态? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移?
概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别?
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括
所有可用的API版本列表对象。 version字段说明: 参数 参数类型 描述 id String 所使用版本的公用名称。 updated String 接口最后修改的UTC时间,格式为YYYY-MM-DDTHH:MM:SSZ status String API 版本的状态。其值为:
found 对象不存在或没有权限 请使用合法的参数重试。 400 SFS.TURBO.0003 Invalid name 名称不符合规则 请使用合法的参数重试。 400 SFS.TURBO.0004 Invalid vpc 指定的vpc无效 请使用合法的参数重试。 400/500 SFS.TURBO
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情
Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影
为文件系统创建普通用户可读写的子目录 方案概述 资源和成本规划 实施步骤
挂载文件系统 挂载NFS协议类型文件系统到云服务器(Linux) 挂载NFS协议类型文件系统到云服务器(Windows) 挂载CIFS协议类型文件系统到云服务器(Windows) 自动挂载文件系统
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2
实施步骤 创建文件系统本地目录 为每个用户创建有读写权限的子目录 父主题: 为文件系统创建普通用户可读写的子目录
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤