检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
要及时(15天之内)续费以避免您的文件系统资源被清空。 资源包的大小与文件系统的计算吞吐能力无关。 按需计费购买 注册云服务账号。 打开华为云网站www.huaweicloud.com。 单击页面右上角“注册”。 进入注册页面,根据提示信息完成注册。 充值。 登录管理控制台。 单击“充值”,系统自动跳转到充值界面。
optional_endpoint String 可选的挂载IP地址。上一代文件系统规格类型不返回该字段。 hpc_bw String 文件系统的带宽规格。 "20M"表示20MB/s/TiB "40M"表示40MB/s/TiB "125M"表示125MB/s/TiB "250M"表示250MB/s/TiB
如果系统预置的SFS权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考权限及授权项说明。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
Turbo可通过VPC对等连接建立与ECS的通信。 本指南以某公司存储文件为例,介绍如何实现文件的共享存储。 Step1 登录管理控制台 登录华为云控制台。在控制台页面中选择“存储 > 弹性文件服务”。 图1 登录SFS控制台 选择与ECS相同的区域,文件系统只有与ECS归属在同一区域
到期未续费时,文件系统首先会进入宽限期,宽限期到期后仍未续费,资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在文件系统到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于
华南-广州(可用区1):cn-south-1.com.myhuaweicloud.v4.obsv2 说明: 华南-广州(可用区1)不支持挂载到容器上。 华南-广州(可用区6):cn-south-1.com.myhuaweicloud.v4.obsv2.storage.lz06 华东-上海一:cn-east-3
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 状态码: 404 表10 响应Body参数 参数 参数类型
/s/TiB、1000MB/s/TiB HPC缓存型 支持访问方式 VPN/专线/云连接 VPN/专线/云连接 VPN/专线/云连接 最大带宽 标准型:150MB/s 标准型-增强版:1GB/s 性能型:350MB/s 性能型-增强版:2GB/s 说明: 读写速率受挂载客户端的数
conf”文件。在已有的nameserver配置前写入DNS服务器的IP地址。DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 图1 配置DNS 格式如下: nameserver 100.125.1.250 nameserver 100.125.17
不支持多层目录,不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表9 ObsTargetAttributes 参数 参数类型 描述
数据预热),export(导出)。 附加元数据导入方式会导入OBS对象的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo 导出时的附加元数据(如uid、gid、mode)。 快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表11 ObsTargetAttributes 参数 参数类型 描述
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”。 配置调用SFS Turbo接口的自定义策略: 单击右上角的“创建自定义策略”,进入自定义策略配置页面。
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中
Turbo文件系统被冻结时,SFS Turbo文件系统IO会被限制。 保留期到期后,如果包年/包月SFS资源仍未续费,那么文件系统将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。 父主题: 计费模式
可以直接从云下访问弹性文件服务吗? SFS Turbo支持通过IDC专线或其他方式建立通信后,可以从云下访问SFS Turbo文件系统。 SFS容量型文件系统暂不支持直接从云下访问弹性文件服务,但您可以将数据从云下迁移至弹性文件服务后再使用。 父主题: 其他类
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。