检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
服务的访问控制 SFS对接了IAM服务,支持给企业中的员工设置不同的访问权限功能,以达到不同员工之间的权限隔离,用户可以通过IAM服务进行精细化的资源管控。详情请参见SFS的权限策略。 SFS支持通过IAM权限进行访问控制。 表1 SFS访问控制 访问控制方式 简要说明 详细介绍
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费。不支持单独购买资源包。
附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 名称 描述 是否必选 示例 Host 请求的服务器信息,从服务API的URL中获取。值为h
SFS容量型资源包和SFS Turbo资源包是否通用? 不通用。 SFS容量型文件系统的资源包可以通过“购买SFS容量型资源包”来单独购买资源包。资源包不支持跨区域使用,购买前请仔细核对区域。 SFS Turbo类型的文件系统,除了在创建文件系统时购买资源包,还可以将按需计费的文件系统转为包周期计费。不支持单独购买资源包。
X-Auth-Token 是 String 账号的token Content-Type 是 String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 path 是 String 合法的已存在的目录的全路径 capacity 否 Integer 目录的容量大小,单位:MB; 设置为0会导致数据无法写入目录;
String 标签的键。 最大长度128个字符。 key不能为空,不能包含非打印字符ASCII(0-31),“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”。只能包含大写字母、小写字母、数字,特殊字符"-"和"_"。 value String 标签的值。 每个值最大长度255个字符,可以为空字符串。
您只需设置生命周期规则,通用文件系统会自动将符合生命周期规则的数据转储至低频存储,无须复杂、高风险的数据迁移操作。 成本低 低频存储相比普通文件存储的费用低。 低频存储的计费相关内容请详见计费项。 转换为低频存储的数据可正常访问 数据转储为低频存储后,文件系统的内容和结构保持不变,应用可正常访问这些数据,不需要修改应用或暂停业务。
Unauthorized 被请求的页面需要用户名和密码。 403 Forbidden 对被请求页面的访问被禁止。 404 Not Found 服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。
参数类型 描述 path String 合法的已存在的目录的全路径 capacity Integer 目录的容量大小,单位:MB inode Integer 目录的inode数量限制 used_capacity Integer 目录已使用的容量大小,单位:MB。仅SFSTurbo
可选 domain 存放资源的服务器的域名或IP地址。 必选 port 请求使用的端口号。根据软件服务器的部署不同而不同。缺省时使用默认端口,各种传输协议都有默认的端口号,如HTTP的默认端口为80,HTTPs的默认端口为443。 SFS服务的http方式访问端口为80,HTTPs方式访问端口为443。
是 Integer 扩容后文件系统的新容量,以GiB为单位。 SFS Turbo上一代文件系统规格类型-标准型和性能型,取值范围500~32768 GiB,扩容步长大于等于100 GiB。 SFS Turbo上一代文件系统规格类型-标准型增强版和性能型增强版。容量范围是10240~327680
”后,重新访问文件系统。 原因2:云服务器在强制umount之后,无法重新挂载访问。 此问题是云服务器的缺陷,可以通过重启云服务器来解决。 重启云服务器后,查看是否能正常挂载和访问文件系统。 是 => 处理结束。 否 => 请联系技术支持。
增加容量规则 扩容后的文件系统的总容量<=(云账号的配额容量-该云账号下其他文件系统的总容量之和) 例如,云账号A默认的配额容量为500TB。该账号下已创建了3个文件系统,分别为SFS1、SFS2和SFS3,其中SFS1的总容量为350TB,SFS2的总容量为50TB,SFS3的总容量为7
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟
String 联动目录名称 src_prefix String 导入导出任务的源端路径前缀 dest_target String 和src_target保持一致 dest_prefix String 和src_prefix保持一致 start_time String 任务开始时间
符合查询条件的共享资源列表。 total_count Integer 符合查询条件的共享资源总个数。 说明: 查询条件中的分页参数offset和limit对于total_count字段不会产生作用,即该字段显示的是满足查询条件共享资源的总个数,而非分页后返回的共享资源的个数。 resource
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 响应参数 状态码: 200 表6 响应Header参数 参数
殊字符"-"和"_"。 说明:调用删除共享标签接口删除标签时,如果标签的键中存在不被URL直接解析的特殊字符,需要对标签的键进行URL转义处理。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 账号的token Content-Type
文件系统的计费模式为“按需计费”。 文件系统状态为“可用”。 操作步骤 登录弹性文件服务管理控制台。 登录管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧导航栏的图标,选择“存储 > 弹性文件服务 SFS”。 在文件系统列表页,选中目标文件系统。 单击“操作”列下的“更多