检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive。 重命名/opt/hive-2.3.3/conf/hive-env.sh.template为hive-env.sh。 重命名opt/hive-2.3.3/conf/hive-log4j2.properties.template为hive-log4j2.properties。
Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。 HDFS
达到安全、高效的备份目的。 使用Commvault备份本地SAP HANA SAP HANA是基于内存计算技术的高性能实时数据计算平台，多应用于需要处理大量实时业务数据的企业。备份软件Commvault，与SAP HANA 、OBS无缝集成，支持在线数据库、日志的备份。当SAP
OBS如何实现备份和容灾？ OBS通过如下方式实现备份和容灾： 创建桶时开启多AZ属性，用户数据冗余存储至多个AZ中。 通过跨区复制功能。用户可以将一个区域的桶中数据复制到另一个区域，实现云端备份。 将OBS中的数据下载到本地，本地备份数据。 父主题： 数据安全、迁移和备份
此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。 OBSFileSystem的主要作用：提供HDFS文件系统的相关接口实现，让大数据计算引擎（Hive、Spark等）可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem
fka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 MRS与OBS对接的具体操作，请参见华为云MRS对接OBS。 Cloudera CDH CDH是Cloudera基于Apache
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离
DataX是一个数据同步框架，实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务，本文介绍DataX如何对接OBS。 对接步骤
在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件
0-187/hadoop-mapreduce/*。 重启MapReduce2集群。 增加Hive对接OBS的jar包 执行以下命令，在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令，将OBSA-HDFS工具的jar包放到auxlib文件夹。
根据数据大小以及使用时长收费，具体参见DES价格详情 云专线方式 每月大于100TB的数据量，需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费，具体参见云专线价格详情 您也可以使用备份软件实现本地数据备份至OBS。 场景二：迁移第三方云厂商数据至OBS 迁移第三方云厂商数
的“部署客户端配置”。 Hive集群对接OBS配置项 Hive应用对接OBS，需要在Hive集群中进行core-site.xml配置，包括：ak、sk、endpoint、impl等。 core-site.xml配置完成后“重启”Hive集群，再重启Hive集群的“部署客户端配置”。
Catalog配置文件（重点） hive connector配置如下: 在etc目录下创建catalog目录 创建一个hive connector的配置文件：hive.properties # hive.properties #连接名 connector.name=hive-hadoop2 #配置hive
支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离
CDM方式迁移 云数据迁移（Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持关系数据库，数据仓库，NoSQL，大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务（Object Storage
如何在不暴露AKSK的条件下实现与OBS交互？ 使用BrowserJS SDK与OBS服务交互时，必须将AK/SK暴露到前端，这样会存在安全问题。为避免该问题出现，可让后端生成临时签名URL给前端后，前端再与OBS交互。 比如：实现上传功能。 // 后端使用NodeJS SDK //
STANDARD 约束限制： 指定对象的存储类型时请注意大小写敏感。 取值范围： STANDARD WARM COLD DEEP_ARCHIVE 默认取值： 无 x-obs-meta-* String 否 参数解释： 对象的自定义元数据。OBS支持用户使用以“x-obs-meta
小程序直传OBS 本章节通过一个示例程序演示了如何通过微信小程序上传文件至OBS。 通过Nginx反向代理访问OBS 本章节介绍如何通过在ECS上配置Nginx反向代理，实现通过固定IP地址访问OBS。 大数据场景下使用OBS实现存算分离 华为云存算分离大数据方案相比传统大数据
如何实现下载对象时限速(Java SDK) 此示例用于下载对象时设置链接的限速，通过自定义头域，SDK透传x-obs-traffic-limit，服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
如何实现上传对象时限速(Java SDK) 此示例用于上传对象时设置链接的限速，通过自定义头域，SDK透传x-obs-traffic-limit，服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
