检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月
String OBS桶名称 endpoint String OBS桶所在的区域域名 policy ObsDataRepositoryPolicy object 后端存储自动同步策略 attributes ObsTargetAttributes object 后端存储属性。2024年6月
每个云账号可以创建的文件系统的总容量为512000GB,最多可以创建10个文件系统,并且支持同时创建。 当需要创建的文件系统的总容量或数量超出配额限制时,请单击“申请扩大配额”进行申请。 配置完成后,单击“立即创建”。 核对文件系统信息,确认无误后单击“提交”。 根据页面提示,返回文件系统列表页面。
95-8dda-bc7142af4ddw/fs/dir-quota?path=/data/test 响应示例 状态码: 200 查询目录的配额信息成功 { "path" : "/data/test", "capacity" : 1024, "inode" : 100000
建多于10个SFS容量型文件系统时,可在创建文件系统页面单击“申请扩大配额”提交申请。 SFS Turbo文件系统单次只能创建一个。当需要创建多于10个SFS Turbo文件系统时请单击这里提交工单申请扩大配额。 父主题: 规格类
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
功能总览 功能总览 全部 弹性文件服务 NFS协议 CIFS协议 多VPC访问 多账号访问 备份 加密 监控 审计 OBS 2.0支持弹性文件服务 弹性文件服务(Scalable File Service,SFS)提供按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器(Elastic
动同步到OBS桶里。 CHANGED:表示修改数据,从OBS桶里导入到SFS Turbo联动目录下的文件,在SFS Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量
如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 排查思路 表1 排查思路 可能原因 处理措施 配额不足 已创建的文件系统数量已经达到配额上限,请提交工单申请扩大配额。 子网IP不足 如果子网IP资源不足,可以更换子网或者释放当前文件系统使用的子网下其他的IP地址。 后台容量不足
HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交
文件系统共享协议,有效值为NFS(适用于linux系统)。 size 是 Integer 共享容量,单位GB。申请的共享容量不能大于配额值,需要查看配额,请参考配额查询接口。 name 否 String 共享名称,长度为0~255,只支持英文字母、数字、中划线、下划线。 description
GMT x-obs-acl:private x-obs-storage-class:STANDARD Authorization: OBS UDSIAMSTUBTEST000254:ydH8ffpcbS6YpeOMcEZfn0wE90c= <CreateBucketConfiguration
sfs3:fileSystem:deleteACL × √ 配额管理 表3 配额管理权限项列表 权限 对应API接口 授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 获取文件系统配额 GET /{file-system-name}?quota
弹性文件服务会占用用户的哪些资源? SFS容量型文件系统挂载后为什么容量显示为10P? 通用文件系统挂载后为什么会显示250TB? 如何在弹性文件服务SFS和对象存储服务OBS之间进行数据迁移? 弹性文件服务支持多可用区吗? 可以将SFS容量型文件系统升级为SFS Turbo文件系统吗? 可以将SFS Turbo标准型升级为SFS
SFS容量型API说明 查询API版本 文件共享 共享访问规则 配额管理 扩容缩容 共享标签 可用区
响应Body参数 参数 参数类型 描述 errCode String 错误码 errMsg String 错误描述 请求示例 更新目标文件夹配额,目录的全路径是“/data/test”,目录的容量大小是1024MB,目录的inode数量限制是100000。 { "path" :
通用文件系统 生命周期管理 文件系统配额管理 资源包管理 标签
SFS Turbo文件系统 存储联动 目录配额 加密传输 文件系统权限管理 AITurbo AI场景加速