检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS协议：Hado
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。示例代码如下： // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
日志初始化(Python SDK) 功能说明 通过开启SDK日志功能，可将接口调用过程中产生的日志信息记录到日志文件，用于后续的数据分析或问题定位。具体步骤如下： 找到OBS Python SDK开发包(github获取)中的log.conf文件。其内容格式如下： [LOGCONF]
id：唯一标识，每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir：数据目录，Presto用它来保存log和其他数据 示例： node.environment=presto_cluster node.id=bigdata00 node
日志初始化(Go SDK) 功能说明 通过开启SDK日志功能，可将接口调用过程中产生的日志信息记录到日志文件，用于后续的数据分析或问题定位。您可以通过InitLog开启日志；CloseLog关闭日志并同步缓存中的日志内容到日志文件。 初始化方法 1 func InitLog(logFullPath
配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
int、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。 父主题： 对接大数据平台
我对存储在OBS上的数据加密时，可支持哪些加密技术？ 您在将数据上传到OBS中前，可以事先对数据进行加密，以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密，使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
验证：在浏览器输入本桶的访问域名，结果显示为重定向的桶或重定向的URL。 由于浏览器缓存等原因，您可能需要清除浏览器缓存后才能查看到预期效果。 父主题： 数据管理
3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题： 对接大数据平台
由于业务原因，您需要将OBS数据从一个区域的数据中心迁移至另一个区域的数据中心。 数据备份与容灾 出于对数据安全性以及可用性的考虑，您希望对所有写入OBS的数据，都在另一个区域的数据中心显式地创建一个备份，以防止在数据发生不可逆损毁时，有安全、可用的备份数据。 易维护 您在两个不同OBS区域中具
接用来加密数据，系统先是从用户主密钥中派生出数据加密密钥和数据加密密钥的密文，然后使用数据加密密钥来加密OBS对象，加密完成后，OBS存储数据加密密钥的密文和对象密文。 图2 SSE-KMS解密流程 解密对象时，如图2所示，KMS云服务先解密数据加密密钥密文，然后用数据加密密钥来
目录分享 如果您想将一个文件夹分享给其他人，同时希望能够指定有效期，OBS Browser+提供文件夹分享和授权码登录的功能，轻松为您完成数据分享。 首先，您登录OBS Browser+后，选择您要分享的目录右键或者单击操作栏的分享按钮。 然后，选择分享链接的有效期，并输入提取码
配置Data+ Data+已下线，如果需要使用数据处理服务，可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 操作场景 当需要使用OBS提供的Data+服务对OBS内存储的数据，自动进行多项复杂任务（如解析、转码、截图等）处理时，可按照本节指导进行配置。 您需要先创建工作流，工作流可以自定义任务处理流程。
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接，实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导，详情请参见支持的大数据平台简介。 （可选）OBS除了可以与主流大数据平台对接外，
您可以在创桶的时候选择将桶中数据冗余存储在多个可用区，以获得更高的数据可靠性。OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 支持的区域请参见功能总览。 × √ 数据回源 您可以利用数据回源功能，实现向OBS请求数据不存在时，通过回源规则自动从源站获取对应数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
