检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的
分段复制 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 分段复制是分段上传的一种特殊情况，即分段上传任务中的段通过复制OBS指定桶中现有对象（或对象的一部分）来实现。您可以通过copy_part来复制段，参数描述如下表： 字段名
并发一致性说明 当客户端发起的写/删除请求返回成功之后，客户端可以获取到最新数据。当写操作客户端等待超时、服务端返回500或者503的HTTP响应错误码时，之后的读取操作有可能成功读取到数据，也有可能读不到数据。建议客户端在出现上述错误时，查询数据是否已经上传成功，如果不成功则重新上传
清理碎片 使用场景 桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据，在下列情况下（但不仅限于此）通常会导致数据上传失败而产生碎片。 网络条件较差，与OBS的服务器之间的连接经常断开。 上传过程中，人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在
什么是临时授权访问 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 临时授权访问是指通过访问密钥、请求方法类型、请求参数等信息生成一个临时访问权限的URL，这个URL中会包含鉴权信息，您可以使用该URL进行访问OBS服务进行特定操作
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志，可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志： 工具日志（记录工具在运行期间产生的日志信息）：配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize
删除对象 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 请您谨慎使用删除操作，如果对象所在的桶未开启多版本控制功能，该对象一旦删除将无法恢复。 删除单个对象 您可以通过delete_object删除单个对象，参数描述如下： 字段名
分段上传-列举已上传的段(Python SDK) 功能说明 通过分段上传任务的ID，列举指定桶中已上传的段。 您可以列出特定多段上传任务或所有正在进行的多段上传任务的分段。列举已上传的段操作将返回您已为特定多段上传任务而上传的段信息。对于每个列举已上传的段请求，OBS将返回有关特定多段上传任务的分段信息
创建文件夹(Java SDK) 功能说明 您可以在已创建的桶中新建一个文件夹，从而更方便的对存储在OBS中的数据进行分类管理。 OBS本身是没有文件夹的概念的，桶中存储的元素只有对象。创建文件夹实际上是创建了一个大小为0且对象名以“/”结尾的对象，这类对象与其他对象无任何差异，可以进行下载
文件上传(Java SDK) 功能说明 您可以将本地文件直接通过Internet上传至OBS指定的桶中。待上传的文件可以是任何类型。 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有上传对象的权限
桶相关授权项 表1 桶相关授权项列表 权限 对应API接口 授权项（Action） IAM项目（Project） 企业项目（Enterprise Project） 列举全部桶 获取桶列表 obs:bucket:ListAllMyBuckets √ √ 创建桶 创建桶 obs:bucket
查询桶触发器 功能介绍 本接口用于查询桶上绑定工作流触发器。 请求消息样式 GET /?obsworkflowtriggerpolicy HTTP/1.1 Host: bucket.obs.cn-north-4.myhuaweicloud.com Authorization: authorization
下载对象(Harmony SDK) 功能说明 您可以根据需要将存储在OBS中的对象下载到本地。 接口约束 您必须是桶拥有者或拥有下载对象的权限，才能下载对象。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:GetObject权限，如果使用桶策略则需授予GetObject
删除对象 功能说明 删除指定的对象。 按指定的对象名前缀批量删除对象。 删除对象后无法恢复，请谨慎使用。 使用建议 对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具，可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例，帮助您快速通过OBS Browser+使用OBS的基础功能，包括创建桶
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具，可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例，帮助您快速通过OBS Browser+使用OBS的基础功能，包括创建桶
配置和查看对象元数据 使用场景 元数据（Metadata）为描述对象属性的信息，是一组名称和值的配对，用作对象管理的一部分。OBS 中有两种元数据：系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据，也可以在上传对象后修改元数据。 元数据介绍
删除桶的自定义域名 功能介绍 OBS使用DELETE操作来删除桶的自定义域名。 请求消息样式 1 2 3 4 5 6 DELETE /?customdomain=domainname HTTP/1.1 User-Agent: curl/7.29.0 Host: bucketname.obs.cn-north
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具，可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例，帮助您快速通过OBS Browser+使用OBS的基础功能，包括创建桶
入门实践 当您完成了创建桶、上传对象和下载对象等基本操作后，可以根据自身的业务需求使用OBS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据安全 安全最佳实践 本最佳实践提供了OBS使用过程中的安全最佳实践，旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
