检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在不暴露AKSK的条件下实现与OBS交互？ 使用BrowserJS SDK与OBS服务交互时，必须将AK/SK暴露到前端，这样会存在安全问题。为避免该问题出现，可让后端生成临时签名URL给前端后，前端再与OBS交互。 比如：实现上传功能。 // 后端使用NodeJS SDK //
临时授权方式实现图片处理(Java SDK) 功能说明 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。您可以通过临时授权方式传入图片处理参数，对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 开发过程中，您有任何问题可以在github上提交issue
如何实现上传对象时限速(Java SDK) 此示例用于上传对象时设置链接的限速，通过自定义头域，SDK透传x-obs-traffic-limit，服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
如何实现下载对象时限速(Java SDK) 此示例用于下载对象时设置链接的限速，通过自定义头域，SDK透传x-obs-traffic-limit，服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Distcp（Distributed copy）主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具，它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 配置指南 参考H
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
DataX对接OBS 概述 DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
下载对象接口实现图片处理(Java SDK) 功能说明 OBS为用户提供了稳定、安全、高效、易用、低成本的图片处理服务。当要下载的对象是图片文件时，您可以通过传入图片处理参数对图片文件进行图片剪切、图片缩放、图片水印、格式转换等处理。 开发过程中，您有任何问题可以在github上
注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的：HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题，但是OBS实现的HDFS协议不支持租约Lease机制（并发写同一个文件时将产生不可确定的状态），所以在flume场景下可以通过文件命名规则进行解决。 如
接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过以下步骤实现网站文件托管： 将网站文件上传至OBS的桶中，并设置对象MIME类型。 设置对象访问权限为公共读。 通过浏览器访问对象。 以下代码展示了如何实现网站文件托管： // 创建ObsClient实例 var obsClient
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出，在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置：
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS，使用OBS提供的OBSA-HDFS工具，无需重新编译druid，将OBS配置为deep storage。
Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
Presto对接OBS 概述 Presto分为prestoSql（现更名为Trino）和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版，下述对接步骤以prestoSql-333版本为例（从prestoSql-332版本开始Presto服务端必须使用JDK
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中，具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash，例如≥7.10.2的版本，避免使用较老版本的logstash。
Hortonworks HDP对接OBS 部署视图 安装版本 硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5） 软件：Ambari：2.7.1.0，HDP：3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。
支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（
Cloudera CDH对接OBS 部署视图 安装版本 硬件：1Master+3Core（配置：8U32G，操作系统：CentOS 7.5） 软件：CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。 并将OBS
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作，请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作，请参见使用存算分离集群。 父主题： 对接大数据平台
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
