检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件系统配额管理 默认情况下,SFS对文件系统的使用容量是没有限制的。为了让用户对容量和资源进行合理的分配和管理,通用文件系统支持对文件系统进行配额管理,包括设置配额、删除配额。 通用文件系统设置配额包括设置容量配额和文件数限制。 约束限制 由于配额的校验依赖于文件系统存量,而文
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于
将无法对处于保留期的包年/包月资源执行任何操作。 保留期到期后,如果包年/包月SFS资源仍未续费,那么文件系统将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。 父主题: 计费模式
到期未续费时,文件系统首先会进入宽限期,宽限期到期后仍未续费,资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在文件系统到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,
当有自定义字段x-obs-date时,该参数按照空字符串处理。 如果进行临时授权方式操作(如临时授权方式获取对象内容等操作)时,该参数不需要。 CanonicalizedHeaders HTTP请求头域中的SFS请求头字段,即以“x-obs-”作为前辍的头域,如“x-obs-date,
-P:数据拷贝进度。 --links:复制源端的软链接,目的端保持为软链接的形式。 --copy-links:复制源端软链接指向的文件内容,目的端变成文件的形式,不再是软链接。 --create-empty-src-dirs:复制源端的空目录到目的端。 等待数据完成同步后,可前往目标文件系统查看是否已成功迁移。
String contentType = ""; String canonicalizedHeaders = "x-obs-bucket-type:SFS"; String canonicalizedResource = "/" ;
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 状态码: 404 表10 响应Body参数 参数 参数类型
不支持多层目录,不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy
conf”文件。在已有的nameserver配置前写入DNS服务器的IP地址。DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 图1 配置DNS 格式如下: nameserver 100.125.1.250 nameserver 100.125.17
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表9 ObsTargetAttributes 参数 参数类型 描述
华南-广州(可用区1):cn-south-1.com.myhuaweicloud.v4.obsv2 华南-广州(可用区6):cn-south-1.com.myhuaweicloud.v4.obsv2.storage.lz06 华东-上海一:cn-east-3.com.myhuaweicloud
数据预热),export(导出)。 附加元数据导入方式会导入OBS对象的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo 导出时的附加元数据(如uid、gid、mode)。 快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表11 ObsTargetAttributes 参数 参数类型 描述
String contentMD5 = ""; String canonicalizedHeaders = "x-obs-bucket-type:SFS"; String canonicalizedResource = "/" + fileSystemName
专属弹性文件服务 专属弹性文件服务简介 专属弹性文件服务(SFS Turbo)是面向企业、政府、金融等客户,提供一个基于专属计算、专属存储资源池构建的共享文件存储。租户独享专属计算和专属资源池,与公共租户资源物理隔离,满足特定性能、应用及安全合规等要求,为客户提供可靠、便捷的云上“头等舱”。
外添加VPC ReadOnlyAccess系统策略。 登录管理控制台 打开华为云网站www.huaweicloud.com。 注册账号。 使用弹性文件服务前需注册一个华为账号并开通华为云。该账号可访问华为云的所有服务,包括弹性文件服务器。如果您已有账号,请从3开始。 在页面右侧,单击“注册”。
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中