检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ObjectLockConfiguration 桶级WORM配置的容器 类型:Container ObjectLockEnabled WORM开关状态,只能为Enabled 类型:String 示例:Enabled Rule 桶级默认WORM策略的规则容器,如果从未配置过桶级默认WORM策略,则返回中不会包含此部分
华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。 方案优势 相比传统企业在本地IDC机房部署大数据业务,华为云数据存算分离方案的主要优势如表2。 表2
设置logging时必选。关闭logging时勿选。 Grant 是被授权者及其权限的容器。用于描述谁有什么权限来访问产生的日志文件。 类型:Container 否 Grantee 作为被授权logging权限用户的容器。 类型:Container 否 ID 被授权者的租户ID,全局唯一标识。
上传段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,通过上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 请确保段大小范
请求消息元素 表1 请求消息元素表 元素名称 元素类型 是否必选 描述 RestoreRequest Container 是 参数解释: 恢复信息的容器。 约束限制: 无 取值范围: 无 默认取值: 无 Days Integer 是 参数解释: 恢复对象后,会生成一个对象的标准存储副本,此
请求消息头 该请求使用公共请求消息头,具体参见表3。 请求消息元素 名字 描述 是否必选 Retention 对象级WORM保护策略配置的容器 类型:Container 是 Mode 对象的保护策略,当前仅支持合规模式"COMPLIANCE" 类型:String 示例:COMPLIANCE
表1响应消息元素所示。 表1 响应消息元素 元素名称 描述 ListBucketCustomDomainsResult 自定义域名返回结果容器。 类型:Container 子节点:Domains 父节点:无 Domains 自定义域名元素。 类型:Container 子节点:DomainName、CreateTime
信息,元素的具体含义如表2所示。 表2 响应消息元素 响应字段名称 描述 ListPartsResult 保存List Part请求结果的容器。 类型:Container 子节点: Bucket, Key, UploadId, PartNumberMarker,NextPartNumberMarker
您可以参考获取访问密钥章节在“我的凭证”页面创建永久AK/SK。 更多登录方式请参见登录OBS Browser+。 步骤二:创建桶 桶是对象存储中存储对象的容器。您需要先创建一个桶,然后才能在桶中存储数据。 本步骤仅针对示例中的关键参数进行设置和介绍,其他参数保持默认,更多创建桶的详细信息请参见创建桶。
Turbo从OBS自动加载数据提升访问性能。 5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架,kubernetes容器引擎、算法开发场景通过文件语义访问共享数据,无需适配开发。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。 操作视频 步骤一:创建桶 桶是OBS中用于存储对象的容器。在上传对象前,您需要先创建桶。 本步骤仅针对示例中的关键参数进行设置和介绍,其他参数保持默认,更多创建桶的详细信息请参见创建桶。 登录控制台,进入创建桶页面。
OPTIONS桶 功能介绍 OPTIONS,称为预请求,是客户端发送给服务端的一种请求,通常被用于检测客户端是否具有对服务端进行操作的权限。只有当预请求成功返回,客户端才开始执行后续的请求。 OBS允许在桶内保存静态的网页资源,在正确的使用下,OBS的桶可以成为网站资源。在这种使
没有启动fuse组件导致报错失败。 在docker容器场景下,没有--privileged参数导致无法挂载。 解决办法: 系统缺少fuse组件,可以执行find / -name libfuse.so*命令查看是否有安装此组件,没有安装请安装fuse组件,详见配置运行环境。 在docker容器场景下,需要在docker
删除桶触发器 功能介绍 本接口用于删除在桶上绑定工作流触发器。 请求消息样式 DELETE /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization:
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
API参考 如果您想要了解OBS iOS SDK各API的所有参数及定义,请参考《对象存储服务iOS SDK API参考》。
API参考 如果您想要了解OBS Android SDK各API的所有参数及定义,请参考《对象存储服务Android SDK API参考》。
响应消息元素 元素名称 描述 ListMultipartUploadsResult 保存List Multipart Upload请求结果的容器。 类型:Container 子节点: Bucket, KeyMarker , UploadIdMarker, NextKeyMarker
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
PUT上传 功能介绍 用户在OBS系统中创建了桶之后,可以采用PUT操作的方式将对象上传到桶中。上传对象操作是指在指定的桶内增加一个对象,执行该操作需要用户拥有桶的写权限。 同一个桶中存储的对象名是唯一的。 在桶未开启多版本的情况下,如果在指定的桶内已经有相同的对象键值的对象,用