检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
概念类 什么是弹性文件服务? 什么是SFS Turbo? SFS、OBS和EVS有什么区别?
规格类 在文件系统中存放的单个文件最大支持多少? 弹性文件服务支持哪些访问协议? 每个账号最多可以创建多少个文件系统? 一个文件系统最多支持同时挂载到多少台云服务器上?
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情
安全 责任共担 身份认证与访问控制 数据保护技术 审计 监控安全风险
限制类 文件系统使用空间不足,可以扩容吗? 文件系统中的数据是否可以跨区域迁移? 文件系统可以跨账号挂载使用吗? 为什么在执行目录遍历操作时响应速度变慢
权限管理 创建用户并授权使用SFS 创建SFS自定义策略
管理文件系统 查看文件系统 删除文件系统
通用文件系统权限管理 概述 您可以给通用文件系统配置IP鉴权规则,根据不同的IP或网段授予不同的权限。 在控制台新创建的通用文件系统默认有一条VPC权限配置(读写,root用户不匿名,所有IP地址),表示所有用户通过该VPC都有读写权限且不进行权限降级的权限,该权限可以被编辑或删除。
使用通用文件系统作为后端存储时,删除pvc/pv过程存在时延,删除过程会进行计费,请以通用文件系统侧删除时间为准。 生命周期管理策略限制 单个文件系统下最多可配置20条生命周期管理规则。 文件语义锁Flock 不支持 标签限制 单个文件系统最多允许添加20个标签。 当一个文件系统添加了多个标签,标签键不允许重复。
的价格为准。 变更配置后对计费的影响 当前包年/包月SFS资源的规格(类型、容量)不满足您的业务需要时,您可以在弹性文件服务控制台发起变更规格操作,如容量调整,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 升配费用
Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用SFS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您
购买VPC终端节点操作请参见配置VPC终端节点。 成功=>处理结束。 失败=>原因4。 原因4:云服务器DNS配置错误,导致解析不到文件系统的域名,挂载失败。 确认租户DNS的配置,执行cat /etc/resolv.conf命令。 如果没有配置DNS,需配置DNS。配置DNS请参见配置DNS。
结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案 方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离,资源利用率高 GPU/NPU算力和SFS
生命周期管理 低频存储 通用文件系统支持通过配置生命周期规则,将设定时间内通用文件系统文件转换为低频存储,从而节约成本。 低频存储具有以下优势: 配置简单,无须编写脚本或手动迁移数据 您只需设置生命周期规则,通用文件系统会自动将符合生命周期规则的数据转储至低频存储,无须复杂、高风险的数据迁移操作。
SFS 3.0文件系统更名公告 华为云计划于2024/01/18 00:00(北京时间)将SFS 3.0文件系统正式更名为通用文件系统。 更名后,不会影响用户正常使用产品。 如您有任何问题,可随时通过提交工单解决。
现象描述 仅挂载至一种服务器系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确,需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况,并正确配置。 解决方法 登录弹性云服务器控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
SFS容量型/通用文件系统:支持为SFS容量型文件系统配置多个VPC,以使归属于不同VPC的云服务器,只要所属的VPC被添加到文件系统的VPC列表下,或云服务器被添加到了VPC的授权地址中,则实际上归属于不同VPC的云服务器也能共享访问同一个文件系统。具体操作请参见配置多VPC。 SFS Turbo文
资源成本:各类资源和资源包的成本,这取决于弹性文件服务的计费项,详细介绍请参见计费项。 运维成本:使用弹性文件服务SFS过程中产生的人力成本。 华为云成本中心可以帮助您更高效地管理资源成本,但运维成本需要您自行识别、管理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业