检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica
CarbonData表用户权限说明 下表提供了对CarbonData Table执行相应操作所需的Hive ACL特权的详细信息。 前提条件 已经设置了表5或表6中Carbon相关参数。 Hive ACL权限 表1 CarbonData表级操作所需的Hive ACL权限 场景 所需权限
CarbonData表用户权限说明 下表提供了对CarbonData Table执行相应操作所需的Hive ACL特权的详细信息。 前提条件 已经设置了表5或表6中Carbon相关参数。 Hive ACL权限 表1 CarbonData表级操作所需的Hive ACL权限 场景 所需权限
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密；在创建Hive表时，可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时，即可实现将对应列的数据加密。只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密，不支持视图以及Hive
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
克隆MRS集群 当新建集群与某原有集群配置相同时，可使用克隆集群功能快速创建集群。 克隆MRS集群使用限制 已删除的集群仅支持删除3个月内的集群进行克隆。 克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本，无法克隆创建历史版本集群。
配置ClickHouse对接HDFS源文件（MRS 3.3.0-LTS及之后版本） 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍安全模式ClickHouse对接安全模式HDFS组件进行文件读写。对于普通模式ClickHouse对接普通模式HDFS组
配置HBase应用输出运行日志 功能介绍 将hbase client的日志单独输出到指定日志文件，与业务日志分开，方便分析定位hbase的问题。 如果进程中已经有log4j的配置，需要将hbase-example\src\main\resources\log4j.properti
快速开发HDFS应用 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量
运行Flink作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包，完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt：JdbcInsertBolt和JdbcLookupBolt。其中，JdbcLookupBolt主要负责从数据库
Hive执行insert into语句报错 问题现象 使用MRS Hive执行一条SQL，有如下报错： 图1 使用MRS Hive执行SQL报错 原因分析 查看HiveServer日志，在对应时间点，有如下的报错信息。 图2 HiveServer日志 在如上报错信息中未发现重要信
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时，Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要删除的数据的rowKey构造成rdd，然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
使用Hive Hive常见日志说明 Hive服务启动失败 安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。 对系统的影响 切换业务后，写入备集群的数据默
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
