正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对象元数据的权限,才能获
元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对象元数据的权限,才能获
类型:Container 父节点:无 是 IndexDocument Suff元素。 类型:Container 父节点:WebsiteConfiguration 是 Suffix Suffix元素被追加在对文件夹的请求的末尾(例如:Suffix配置的是“index.html”,请求的是“sampleb
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
object_info->etag_return char * 必选 eTag缓存。 is_copy unsigned int 必选 用来指定新对象的元数据是从源对象中复制,还是用请求中的元数据替换。 put_properties obs_put_properties* 可选 上传对象属性。 encryption_params
跳过的任务数也会记录到成功的任务数中。 Warning count 执行完成但包含警告的任务数。 说明: 产生警告的任务可能是失败的也可能是成功的,需要根据成功或失败的结果清单进一步判断。 产生警告的任务数与成功/失败任务数是相互独立的,总任务数仍是成功的任务数+失败的任务数。 Succeed bytes 上传/下载成功的字节数。
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Content-Length: 0 请求中Endpoint可以使用任意区域Endpoint的场景 因为“获取桶列表”接口获取的是指定账号或用户下所有区域的OBS桶,“获取桶区域位置”接口是在所有区域中检索您请求的桶,所以对于这两个接口而言,请求中Endpoint可以使用任意区域的Endpoint。
Content-Length: 0 请求中Endpoint可以使用任意区域Endpoint的场景 因为“获取桶列表”接口获取的是指定账号或用户下所有区域的OBS桶,“获取桶区域位置”接口是在所有区域中检索您请求的桶,所以对于这两个接口而言,请求中Endpoint可以使用任意区域的Endpoint。
跨区域迁移:不同区域之间的桶数据迁移。 同区域迁移:同区域内的桶数据迁移。 什么是对象存储迁移服务 对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object
体内容。 防止数据被盗用: 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。即使是后台工程师,也无法导出您存储在OBS的数据。 您还可以使用各种访问控制机制,例如桶策略和访问控制列表(ACL),选择性地向您的用户和用户组授予权限。
在弹出的“基本信息”界面中查看桶的基本信息,如图9所示。 图9 桶的基本信息 表4 参数说明 参数 说明 桶名称 桶的名称 桶类型 对象存储 还是 并行文件系统。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 桶版本号 桶的版本号。 存储用量
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约
'obs_logger'); 日志功能默认是关闭的,需要主动开启。 日志配置文件样例(log.conf)包含在OBS Python SDK开发包中,您需要根据实际情况修改log.conf中的配置参数。 OBS Python SDK的日志模块是线程安全非进程安全的,如果在多进程场景下
范围下载 如果只需要下载对象的其中一部分数据,可以使用范围下载,下载指定范围的数据。如果指定的下载范围是0~1000,则返回第0到第1000个字节的数据,包括第1000个,共1001字节的数据,即[0,1000]。如果指定的范围无效,则返回整个对象的数据。以下代码展示了如何进行范围下载:
WORM以桶为单位锁定,保护范围覆盖桶中的所有对象。对象级WORM以对象为单位锁定,保护范围仅覆盖与WORM策略绑定的对象。无论是对象级WORM策略还是桶级WORM策略,都要在开启桶级WORM开关后,才能生效,否则不会保护桶内对象。WORM策略只对策略生效之后新上传的对象生效。当
上传对象简介(Python SDK) 上传对象到指定桶中。在OBS中,用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。
创建的桶属性以第一次请求为准。 取值范围: 长度为3~63个字符。 Key string 必选 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4
同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 objectKey str 必选 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。