检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash
桶清单 使用场景 桶清单功能可以定期生成桶内对象的相关信息，保存在CSV格式的文件中，并上传到您指定的桶中，方便您管理桶内对象。目标桶和源桶可以是同一个桶。 指定的对象内容包括对象版本、大小、上次修改时间、存储类别、标签、加密状态等。 支持对桶清单加密，加密方式为SSE-KMS方式
在线解压 OBS支持ZIP包上传后自动解压并存放在指定目录。 当您需要一次性上传大量的小文件时，可以将所有文件打包成ZIP包，上传之后压缩包可以自动解压，省时省力。OBS批量上传文件时有一些限制，参见OBS批量上传文件。 成功创建在线解压策略后，您上传到OBS的ZIP包如果能匹配解压策略
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，
项目打包出错 打包时候报如下错误： OBS.framework” did not contain a “archived-expanded-entitlements.xcent” resource. 修复方法： OBS.framework为静态库，请确保Embedded Binaries
Cloudera CDH对接OBS 部署视图 安装版本 硬件：1Master+3Core（配置：8U32G，操作系统：CentOS 7.5） 软件：CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 并将OBSA-HDFS
为桶的CDN加速域名配置自动刷新策略 使用场景 CDN加速功能将存储在OBS中的数据缓存到终端用户附近的CDN节点上，让身处各地的终端用户都可以快速访问存储在OBS中的数据。当用户需要更新OBS中存储的数据时，CDN中缓存的过时数据也需要进行更新，可以使用CDN自动刷新功能来自动通知
重定向请求 重定向简介 在使用静态网站托管功能时，OBS还支持配置重定向请求，即您可以将特定的请求或所有请求实施重定向。 当网站结构调整、网站地址变化或者网站的扩展名发生变化时，用户使用旧的网站地址（比如收藏夹中的地址）访问网站会访问失败，用户只能得到404页面错误信息。此时网站配置了重定向后
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
缺少类错误 使用 OBS Android SDK 进行二次开发时如果报缺少类错误，请检查libs目录下除esdk-obs-java-x.x.x.jar外是否包含以下依赖库： java-xmlbuilder-1.3.jar okhttp-4.8.0.jar okio-2.7.0.jar
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop
哪些资源包会按月更新额度，哪些不会？ 当前如下资源包是按月更新额度： 公网流出流量包 回源流量包 跨区域复制流量包 如下资源包额度购买后在指定时间内有效，不会按月更新额度： 标准存储包 归档存储包 按月更新额度：以公网流出流量包为例，如您购买10TB公网流出流量包一年，则您每月均有
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS
工具说明 obsftp工具于2021年2月9日正式下线，下线后OBS不再对此工具提供维护和客户支持服务，给您带来不便敬请谅解。 工具下载地址：https://github.com/huaweicloud-obs/obsftp 本工具完全开源并遵循MIT License，您完全可以自行改造并用于商业或个人行为而不受影响
服务韧性 OBS提供五级可靠性架构，通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案，保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%（12个9），可用性高达99.995%，远高于传统架构。 图1 五级可靠性架构保证数据稳定
服务端加密 如果您的业务对数据存储的安全性和合规性有较高要求，可使用OBS提供的服务端加密功能，对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时，由OBS服务端对文件进行解密，然后向客户端返回解密后的数据。 OBS
直读归档存储对象 使用场景 实际业务场景下，您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求，需要急速读取归档数据；或者在OBS与其他系统对接的情况下，因接口兼容问题，需要直接读取归档数据。 桶开启归档数据直读后，存储类别为归档存储的对象可以直接访问，无需提前恢复。开启直读后
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
