检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生态中非常流行的开源深度学习框架PyTorch为例,PyTorch默认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针
云监控服务为用户提供一个针对资源的立体化监控平台。通过云监控,您可以全面了解文件系统的使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 √ √ √ 审计文件系统 弹性文件服务支持通过云审计服务对资源的操作进行记录,以便用户可以查询、审计和回溯。 × √ × 企业项目 企业项目是对多个资源实
弹性文件服务支持服务器端加密功能,文件存储会对存储在文件系统中的数据进行加密,访问数据时,自动将加密数据解密后返回给用户。 具体使用方法请参见文件系统加密。 数据备份 备份是SFS Turbo文件系统在某一时间点的完整备份,记录了这一时刻文件系统的所有配置数据和业务数据。当您的文件系统出现故障或文件系统中的数据发
--links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
SFS Turbo性能测试 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。
project_id 是 String 项目ID share_id 是 String 文件系统ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型
(Elastic Cloud Server,ECS),容器(CCE&CCI),裸金属服务器(BMS)提供共享访问。 支持区域: 全部 什么是弹性文件服务? 云图说:初识弹性文件服务 视频:弹性文件服务SFS服务介绍 OBS 2.0支持SFS容量型 最大带宽:2GB/s 最高IOPS:2K
协议类型 文件系统支持的共享访问协议为NFS(暂只支持NFSv3)。 - VPC 需要先选择对应VPC所在的IAM项目,再选择对应的VPC。什么是IAM项目? 需要选择弹性云服务器和VPC终端节点所在的VPC。 云服务器无法访问不在同一VPC下的文件系统,需要选择与云服务器相同的VPC
测量对象 监控周期(原始指标) client_connections 客户端连接数 该指标用于统计测量客户端连接数。 说明: 连接数统计的是活跃的客户端链接。 如果客户端长时间无 IO,网络链接会自动断开,当有 IO 时客户端会自动重新建立网络链接。 ≥ 0 弹性文件服务Turbo
project_id 是 String 项目ID share_id 是 String 文件系统ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型
project_id 是 String 项目ID share_id 是 String 文件系统ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型
参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID task_id 是 String 任务ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token
参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID task_id 是 String 任务ID 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token
--links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
re_id}/hpc-cache/tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID share_id 是 String 文件系统ID 表2 Query参数 参数 是否必选 参数类型 描述 type 否 String 任务类型
SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
文件系统中的数据是否可以跨区域迁移? 暂时不支持直接跨区域迁移文件系统数据,您需要在购买文件系统时规划好合适的区域,或者可以将数据复制至本地后再传至另一区域。 SFS Turbo文件系统可以使用云备份进行备份数据,再使用备份复制的功能,将备份副本复制至另一区域再创建一个与原区域数据一致的SFS
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS),可为云上多个弹性云服