检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
https://{endpoint}/v2/ 响应消息 参数说明 参数 参数类型 描述 versions Object 所有可用的API版本列表对象。 version字段说明: 参数 参数类型 描述 id String 所使用版本的公用名称。 updated String 接口最后修改
服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。 407 Proxy Authentication Required 用户必须首先使用代理服务器进行验证,这样请求才会被处理。 408
https://{endpoint}/ 响应消息 参数说明 参数 参数类型 描述 versions Array of objects 所有可用的API版本列表对象,包含v1和v2。 version字段说明: 参数 参数类型 描述 id String 所使用版本的公用名称。 updated String
200 请求已被接受 { "jobId" : "72362dxxxxa04d419dbd5e6d9fe5xxxx" } 状态码: 400 客户端错误 { "errCode" : "SFS.TURBO.0001", "errMsg" : "Invalid rule id" }
后端存储的带宽压力,提升加载效率。具体地,对于训练中进程级故障、硬件仍然健康的故障场景,主机侧客户端内存缓存仍会保留,本机缓存中的checkpoint仍可正常访问,此时可从主机侧客户端内存中直接加载checkpoint进行原地秒级快速恢复;为避免所有GPU/NPU卡同时从存储中加
Turbo文件系统被冻结时,SFS Turbo文件系统IO会被限制。 保留期到期后,如果包年/包月SFS资源仍未续费,那么文件系统将被释放,数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于续费的详细介绍请参见续费概述。 父主题: 计费模式
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net
请求发起端的日期和时间,例如:Wed, 27 Jun 2018 13:39:15 +0000。 类型:字符串。 默认值:无。 条件:如果是匿名请求或者消息头中带了x-obs-date字段,则可以不带该字段,其他情况下必选。 有条件必选 Host 表明主机地址。如filesystem.sfs3.cn-north-4
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 状态码: 404 表10 响应Body参数 参数 参数类型
服务器无法找到被请求的页面。 405 Method Not Allowed 请求中指定的方法不被允许。 406 Not Acceptable 服务器生成的响应无法被客户端所接受。 407 Proxy Authentication Required 用户必须首先使用代理服务器进行验证,这样请求才会被处理。 408
conf”文件。在已有的nameserver配置前写入DNS服务器的IP地址。DNS服务器东北区IP地址为100.125.6.250,其它区域详情请参见华为云内网DNS地址。 图1 配置DNS 格式如下: nameserver 100.125.1.250 nameserver 100.125.17
不支持多层目录,不能包含字符'/'。 obs 是 ObsDataRepository object OBS类型后端存储 表4 ObsDataRepository 参数 是否必选 参数类型 描述 bucket 是 String OBS桶名称 endpoint 是 String OBS桶所在的区域域名 policy
该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 参数 是否必选 参数类型 描述 os-allow_access 是 Object os-allow_access对象。 当API的版本号在1.0-2.6之间时,请求体中JSON格式的body体中顶层参数使用"os-"前缀。如果需要使用的API版本大于2.6,则需要去掉"os-"前缀。
请求消息头 该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 参数 是否必选 参数类型 描述 share 是 Object share对象 share字段说明: 参数 是否必选 参数类型 描述 display_name 否 String 新的共享名称,长度为0~255。 display_description
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表9 ObsTargetAttributes 参数 参数类型 描述
该操作消息头与普通请求一样,请参见表3。 请求消息 参数说明 无 请求样例 无 响应消息 参数说明 参数 参数类型 描述 share Object share对象 share字段说明: 参数 参数类型 描述 links Array 共享链接。 availability_zone String 可用区AZ(availability
Turbo上对这些文件所进行的数据和元数据的修改,会被自动同步到OBS桶里。 DELETED:表示删除数据,在SFS Turbo联动目录下删除文件,OBS桶对应的对象也会被删除,只有被SFS Turbo写入的OBS对象才会被删除。 表11 ObsTargetAttributes 参数 参数类型 描述
外添加VPC ReadOnlyAccess系统策略。 登录管理控制台 打开华为云网站www.huaweicloud.com。 注册账号。 使用弹性文件服务前需注册一个华为账号并开通华为云。该账号可访问华为云的所有服务,包括弹性文件服务器。如果您已有账号,请从3开始。 在页面右侧,单击“注册”。
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中