检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询对象属性 功能说明 查询对象的基本属性。 命令结构 Windows操作系统 obsutil stat obs://bucket/key [-acl][-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统
Bucket) fmt.Printf("RequestId:%s\n", output.RequestId) return } fmt.Printf("Create bucket:%s fail!\n", input.Bucket) if
查询桶属性 功能说明 查询单个桶的基本属性,包括桶的默认存储类型、桶的区域、桶的版本号、桶是否支持文件接口、桶的可用区、桶中对象数量、桶的存储用量以及桶的配额。 命令结构 Windows操作系统 obsutil stat obs://bucket [-acl] [-bf=xxx]
对象自定义元数据。OBS支持用户使用以“x-obs-meta-”开头的消息头来加入自定义的元数据,以便对对象进行自定义管理。当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8
x-obs-fs-file-interface String 参数解释: 判断是否为并行文件系统。 约束限制: 不携带此头域表示不属于并行文件系统。 取值范围: 取值包含Enabled(并行文件系统)。 默认取值: 无 x-obs-epid String 参数解释: 当前桶的企业项目I
查询授权 功能介绍 本接口用于查询授权,查询由OBS服务自动帮助用户创建工作流运行时需要的函数服务权限,以及函数服务运行时的权限。该函数具有幂等性。 请求消息样式 GET /v2/workflow-authorization HTTP/1.1 Host: obs.cn-north-4
参数名称 参数类型 是否必选 描述 isQueryLocation bool 可选 参数解释: 是否同时查询桶的区域位置。 取值范围: True:同时查询桶的区域位置 False:不查询桶的区域位置 默认取值: False extensionHeaders dict 可选 参数解释: 接口的拓展头域。
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
cn-north-4.myhuaweicloud.com/picture.jpg)对该对象进行寻址。 对象 对象在OBS中是最基本的实体。在一个桶中可以存放多个对象,OBS系统并不能区分对象的文件类型。在OBS系统中存储的对象是被序列化了的,因此它可能是一个文本文件或者一个视频文
客户端。 要使用该接口,使用者要求必须是桶的所有者,或者是桶所有者的子用户且具有获取桶策略的权限。 以下两种场景无法使用此接口获取桶策略,系统将返回“404 NoSuchBucketPolicy”的错误: 指定桶的策略不存在 指定桶的标准桶策略为私有且未设置高级桶策略 请求消息样式
云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录OBS的管理事件和数据事件用于审计。
5GB。 您可以通过ObsClient->createPostSignature生成基于表单上传的请求参数。您也可以通过如下步骤进行表单上传: 使用ObsClient->createPostSignature生成用于鉴权的请求参数。 准备表单HTML页面。 将生成的请求参数填入HTML页面。
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization: signatureValue Policy written in JSON 请求消息参数 该请求消息中不使用消息参数。 请求消息头 该请求使用公共消息头,具体请参见表3。
方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS
您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI
联sfsturbo”。 在“关联sfsturbo”弹窗中,选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案,如图所示,华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动,您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前