检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据预热),export(导出)。 附加元数据导入方式会导入OBS对象的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo 导出时的附加元数据(如uid、gid、mode)。 快速导入方式仅会导入OBS对象的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中
Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于
HPC性能不足时,需要通过容量扩容来提高性能吞吐。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
请重新获取obs导入导出的数据,如果问题未得到解决,请联系技术支持 400 SFS.TURBO.0106 The OBS task does not exist obs 任务不存在 请选择存在的obs任务或者创建相应的obs任务 400 SFS.TURBO.0107 OBS protocol
String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 attributes 是 ObsTargetAttributes object 后端存储属性 表4 ObsTargetAttributes 参数 是否必选 参数类型 描述 file_mode 否 Integer
text/plain。 当请求中不带该头域时,该参数按照空字符串处理。 Date 生成请求的时间,该时间格式遵循RFC 1123;该时间与当前服务器的时间超过15分钟时服务端返回403。 当有自定义字段x-obs-date时,该参数按照空字符串处理。 如果进行临时授权方式操作(如临时授
dir Long 目录数目 regular Long 普通文件数目 pipe Long 管道文件数目 char Long 字符设备数目 block Long 块设备数目 socket Long 套接字数目 symlink Long 符号链接数目 状态码: 400 表6 响应Body参数
dir Long 目录数目 regular Long 普通文件数目 pipe Long 管道文件数目 char Long 字符设备数目 block Long 块设备数目 socket Long 套接字数目 symlink Long 符号链接数目 状态码: 400 表8 响应Body参数
询监控指标。 命名空间 SYS.SFS 监控指标 表1 SFS容量型(已售罄)支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) read_bandwidth 读带宽 该指标用于统计文件系统在周期内的读数据量。 单位:字节/秒 ≥ 0 bytes/s
02:38:09 GMT x-obs-bucket-type: SFS Authorization: OBS FNEX1B77SXDIB3TFMSZZ:0Xsnu4hJVOI7VWH0wIQczVN+rbg= Content-Length: 85 x-obs-epid:0 <Cre
过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用
String MIME类型 表3 请求Body参数 参数 是否必选 参数类型 描述 extend 是 Extend object extend对象。 表4 Extend 参数 是否必选 参数类型 描述 new_size 是 Integer 扩容后文件系统的新容量,以GiB为单位。 SFS
06:54:59 GMT Content-Type: text/plain Content-Length: 5913 Authorization: OBS AccessKeyID:Signature 签名验证 6. 接收HTTP消息 PUT / HTTP/1.1 Host: filesystem
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/sfs-turbo/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id job_id 是 String
字段数据结构说明 参数 参数类型 描述 resource_id String 共享ID。 resource_detail Object 资源详情。资源对象,用于扩展。默认为空。 tags Array of resource_tags 标签列表,没有标签时默认为空数组。 sys_tags Array
String 要创加密文件系统,该字段传KMS服务专业版密钥的ID。 dedicated_flavor 否 String 创专属文件系统,要创建的虚拟机的规格。 dedicated_storage_id 否 String 创专属文件系统,要指定一个专属分布式存储的ID。 expand_type