检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建用户并授权使用SFS 如果您需要对您所拥有的SFS进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,
文件系统可以跨账号挂载使用吗? 通用文件系统暂不支持跨账号挂载使用。 SFS容量型文件系统北京四已上线跨账号挂载使用功能。 SFS Turbo文件系统基于VPC的对等连接功能,实现跨账号访问。更多关于VPC对等连接功能信息和实现方法请参见VPC对等连接。 父主题: 限制类
使用前必读 概述 调用说明 终端节点 约束限制 基本概念
号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和IAM用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。
查询目录资源使用情况 功能介绍 查询目录资源使用情况(包括子目录的资源)。后端有5min的缓存时间,查询的数据可能有延迟。 接口约束 在2023年8月1号之后创建的文件系统支持该API操作。该接口仅适用于SFS Turbo上一代文件系统规格类型(标准型、标准型-增强版、性能型、性
跨服务器迁移(rclone工具) 方案概述 用户可以将本地NAS存储中的数据,使用rclone工具通过公网或内网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允
State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,调用方法请参见如何调用通用文件系统API。 父主题: 使用前必读
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询弹性文件服务的终端节点。 父主题: 使用前必读
Server,BMS)提供共享访问。 您可以使用本文档提供API对文件系统进行相关操作,如创建、查询、删除、更新等。支持的全部操作请参见API概览。 在调用弹性文件服务API之前,请确保已经充分了解弹性文件服务相关概念,详细信息请参见《弹性文件服务产品介绍》。 父主题: 使用前必读
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
认会通过文件接口访问数据,AI算法开发人员也习惯使用文件接口,因此文件接口是最友好的共享存储访问方式。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS
配额、扩大配额,具体请参见“配额”。 更详细的限制请参见具体API的说明。 通用文件系统API只支持内网调用,不支持公网调用。 父主题: 使用前必读
使用公网迁移 背景说明 用户可以将本地NAS存储中的数据,通过公网迁移至云上SFS Turbo中,进行云上业务拓展。 此方案通过在云上和本地分别创建一台Linux操作系统的服务器,将本地NAS存储中的数据迁移至云上。两台服务器端口号22的出入方向需允许访问。本地服务器用于访问本地
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情 可以看到资源包的使用量,如图3所示。
如何查看SFS容量型资源包的使用量? 操作步骤 登录弹性文件服务控制台。 单击右上角“费用 > 我的套餐”,如图1所示。 图1 选择我的套餐 可以看到列表中显示资源包购买情况。单击资源包详情,单击目标资源包“操作”列下“使用详情”可以看到各个资源包的使用情况,如图2所示。 图2 查看资源包使用详情 可以看到资源包的使用量,如图3所示。
文件系统使用空间不足,可以扩容吗? SFS容量型文件系统:支持在线扩容。 SFS Turbo:支持在线扩容,扩容过程中,正在挂载使用的连接可能存在30%左右的性能抖动; SFS Turbo上一代文件系统:支持在线扩容,扩容过程中挂载文件系统可能失败,正在挂载使用的连接会感知30秒左右的IO延迟(最长可能为3分钟)。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
获取访问密钥(AK/SK) IAM用户若希望使用AK/SK访问SFS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 单击“管理访问密钥”。