检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别?
规格类 在文件系统中存放的单个文件最大支持多少? 弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
限制类 文件系统使用空间不足,可以扩容吗? 文件系统中的数据是否可以跨区域迁移? 文件系统可以跨账号挂载使用吗? 为什么在执行目录遍历操作时响应速度变慢
权限管理 创建用户并授权使用SFS 创建SFS自定义策略
管理文件系统 查看文件系统 删除文件系统
资源成本:各类资源和资源包的成本,这取决于弹性文件服务的计费项,详细介绍请参见计费项。 运维成本:使用弹性文件服务SFS过程中产生的人力成本。 华为云成本中心可以帮助您更高效地管理资源成本,但运维成本需要您自行识别、管理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业
能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有SFS的使用权限,但是不希望他们拥有删除文件系统等高危操作的权限,那么您可以使用IAM为开
外添加VPC ReadOnlyAccess系统策略。 登录管理控制台 打开华为云网站www.huaweicloud.com。 注册账号。 使用弹性文件服务前需注册一个华为账号并开通华为云。该账号可访问华为云的所有服务,包括弹性文件服务器。如果您已有账号,请从3开始。 在页面右侧,单击“注册”。
数据量与源端服务器中的一致时,表示数据迁移成功。 云上NAS数据迁移至弹性文件服务 云上NAS和SFS Turbo文件系统只需配置在同一个VPC下,或使用云连接(CC)配置网络后,再参考以上操作步骤,即可进行云上NAS数据迁移至弹性文件服务中。 云连接配置操作请参考云连接用户指南。 父主题: 弹性文件服务数据迁移
如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器
试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
开启后支持NFS客户端与服务端之间建立多条TCP连接来提升吞吐性能。 前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高(例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS文件系统的场景下),且您需要达到较高的带宽或IOPS时,建议开启该功能;
HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS
使用Windows系统挂载文件系统时,提示:“你不能访问此共享文件夹,因为你组织的安全策略阻止未经身份验证的来宾访问。这些策略可帮助你保护你的电脑免受网络上不安全设备或恶意设备的威胁。” 可能原因 由于Windows系统的保护措施,阻挡了以来宾访问权限访问CIFS文件系统的用户,或以来宾访问权限为默认关闭状态。
试。 前提条件 已在云服务器上安装fio工具。fio可从官网或GitHub下载。 注意和说明 测试性能依赖client和server之间的网络带宽及文件系统的容量大小。 安装fio 以Linux CentOS系统为例说明: 在官网下载fio。 yum install fio 安装libaio引擎。
4版本之后的客户端上挂载NFSv3协议的文件系统,使用cp或dd等方式触发顺序读业务场景,读带宽与每秒请求数明显不符合预期。 问题原因 预读机制:访问内存的速度比访问硬盘或者网络存储快很多,如果每一次访问文件数据都要从磁盘读取数据,就会导致非常严重的时延及等待问题,因此Linux为了提高读取性能,通过预读机制,将文