检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
= nil { break } } return } fmt.Printf("List objects under the bucket(%s) fail!
= nil { break } } return } fmt.Printf("List objects under the bucket(%s) fail!
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。 请求消息样式 1 2 3 4 HEAD / HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization
获取桶列表(Python SDK) 功能介绍 OBS桶是对象的容器,您上传的文件都存放在桶中。调用获取桶列表接口,可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限,才能获取桶列表。
查询桶触发器(Python SDK) 功能说明 查询桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getTriggerPolicy() 返回结果 表1 返回结果 类型
审计与日志 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS
问题原因 请求中携带的签名与系统计算得到的签名不一致。 解决方法 检查endpoint 使用OBS SDK时需要检查此项。
删除桶触发器 功能介绍 本接口用于删除在桶上绑定工作流触发器。 请求消息样式 DELETE /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization
policy HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization: signatureValue Policy written in JSON 请求消息参数
配置桶触发器(Python SDK) 功能说明 在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.putTriggerPolicy(rules) 请求参数 表1 请求参数列表
单击“创建”,系统弹出“创建CORS规则”对话框,如图2所示。 一个桶最多可设置100条CORS规则。 图2 创建CORS规则 在“CORS规则”中配置“允许的来源”、“允许的方法”、“允许的头域”、“补充头域”和“缓存时间”。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。
方案架构 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。
SFS Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。
说明: 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 成本规划 OBS费用:详见OBS计费说明。 SFS Turbo费用:详见SFS计费说明。
单击1中创建生成的资源池“网络”所在行的“更多”,选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。
将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。