开发指南-华为云

MAPREDUCE服务 MRS-HBase应用开发简介:HBase介绍

HBase介绍 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点：处理海量数据（TB或PB级别以上）。具有高吞吐量。在海量数据中实现高效的随机读取。具有很好的伸缩能力。能够同时处理结构化和非结构化的数据。不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation，又称独立性）、持久性（Durability）。 HBase中的表具有如下特点：大：一个表可以有上亿行，上百万列。面向列：面向列（族）的存储和权限控制，列（族）独立检索。稀疏：对于为空（null）的列，并不占用存储空间，因此，表可以设计的非常稀疏。

MAPREDUCE服务 MRS HBase开发指南（安全模式）

MAPREDUCE服务 MRS-HBase应用开发简介:HBase常用概念

HBase常用概念过滤器过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。协处理器允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件存放用户信息的密钥文件。在安全模式下，应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、HBase Shell或者Web UI访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包，可参考HBase对外接口介绍。

MAPREDUCE服务 MRS HBase开发指南（安全模式）

MAPREDUCE服务 MRS-HBase应用开发简介:HBase接口类型介绍

HBase接口类型介绍由于HBase本身是由java语言开发出来的，且java语言具有简洁通用易懂的特性，推荐用户使用java语言进行HBase应用程序开发。 HBase采用的接口与Apache HBase保持一致。 HBase通过接口调用，可提供的功能如表1所示。表1 HBase接口提供的功能功能说明 CRUD数据读写功能增查改删。高级特性过滤器、二级索引、协处理器。管理功能表管理、集群管理。

MAPREDUCE服务 MRS HBase开发指南（安全模式）

MAPREDUCE服务 MRS-Doris应用开发开发流程介绍

Doris应用开发开发流程介绍开发流程中各阶段的说明如下图所示。图1 Doris应用程序开发流程表1 Doris应用开发的流程说明阶段说明参考文档准备开发环境在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ IDEA工具，同时完成JDK、Maven等初始配置。准备本地应用开发环境准备连接集群配置文件应用程序开发或运行过程中，需通过集群相关配置文件信息连接 MRS 集群，配置文件通常包括用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts 域名信息。准备连接Doris集群配置文件配置并导入样例工程 Doris提供了不同场景下的多种样例程序，用户可获取样例工程并导入本地开发环境中进行程序学习。配置并导入JDBC样例工程配置并导入SpringBoot样例工程配置安全认证使用JDBC或SpringBoot接口连接Doris时，需配置具有Doris管理员权限的用户进行安全认证。根据业务场景开发程序根据实际业务场景开发程序，调用组件接口实现对应功能。 Doris JDBC接口调用样例程序编译并运行程序将开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。调测Doris应用父主题： Doris开发指南（普通模式）

MAPREDUCE服务 MRS Doris开发指南（普通模式）

MAPREDUCE服务 MRS-Spark应用开发简介:Spark简介

Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。适用以下场景：数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。迭代计算（Iterative Computation）：支持迭代计算，有效应对多步的数据处理逻辑。数据挖掘（Data Mining）：在海量数据基础上进行复杂的挖掘分析，可支持各种数据挖掘和机器学习算法。流式处理（Streaming Processing）：支持秒级延迟的流式处理，可支持多种外部数据源。查询分析（Query Analysis）：支持标准SQL查询分析，同时提供DSL（DataFrame），并支持多种外部输入。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。

MAPREDUCE服务 MRS Spark2x开发指南（安全模式）

MAPREDUCE服务 MRS-Spark应用开发简介:Spark SQL常用概念

Spark SQL常用概念 DataSet DataSet是一个由特定域的对象组成的强类型集合，可通过功能或关系操作并行转换其中的对象。每个Dataset还有一个非类型视图，即由多个列组成的DataSet，称为DataFrame。 DataFrame是一个由多个列组成的结构化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的data frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者是RDD。

MAPREDUCE服务 MRS Spark2x开发指南（安全模式）

MAPREDUCE服务 MRS-Spark应用开发简介:Spark Streaming常用概念

Spark Streaming常用概念 Dstream DStream(又称Discretized Stream)是Spark Streaming提供的抽象概念。 DStream表示一个连续的数据流，是从数据源获取或者通过输入流转换生成的数据流。从本质上说，一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。图4 DStream与RDD关系应用到DStream上的所有算子会被转译成下层RDD的算子操作，如图5所示。这些下层的RDD转换会通过Spark引擎进行计算。DStream算子隐藏大部分的操作细节，并且提供了方便的High-level API给开发者使用。图5 DStream算子转译

MAPREDUCE服务 MRS Spark2x开发指南（安全模式）

MAPREDUCE服务 MRS-Spark应用开发简介:Structured Streaming常用概念

Structured Streaming常用概念 Input Source 输入数据源，数据源需要支持根据offset重放数据，不同的数据源有不同的容错性。 Sink 数据输出，Sink要支持幂等性写入操作，不同的sink有不同的容错性。 outputMode 结果输出模式，当前支持3种输出模： Complete Mode：整个更新的结果集都会写入外部存储。整张表的写入操作将由外部存储系统的连接器完成。 Append Mode：当时间间隔触发时，只有在Result Table中新增加的数据行会被写入外部存储。这种方式只适用于结果集中已经存在的内容不希望发生改变的情况下，如果已经存在的数据会被更新，不适合适用此种方式。 Update Mode：当时间间隔触发时，只有在Result Table中被更新的数据才会被写入外部存储系统。注意，和Complete Mode方式的不同之处是不更新的结果集不会写入外部存储。 Trigger 输出触发器，当前支持以下几种trigger：默认：以微批模式执行，每个批次完成后自动执行下个批次。固定间隔：固定时间间隔执行。一次执行：只执行一次query，完成后退出。连续模式：实验特性，可实现低至1ms延迟的流处理（推荐100ms）。 Structured Streaming支持微批模式和连续模式。微批模式不能保证对数据的低延迟处理，但是在相同时间下有更大的吞吐量；连续模式适合毫秒级的数据处理延迟，当前暂时还属于实验特性。在当前版本中，若需要使用流流Join功能，则output模式只能选择append模式。图6 微批模式运行过程简图图7 连续模式运行过程简图

MAPREDUCE服务 MRS Spark2x开发指南（安全模式）

MAPREDUCE服务 MRS-Spark应用开发简介:Spark开发接口简介

Spark开发接口简介 Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。按不同的语言分，Spark的API接口如表1所示。表1 Spark API接口功能说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala API接口介绍。由于Scala语言的简洁易懂，推荐用户使用Scala接口进行程序开发。 Java API 提供Java语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Java API接口介绍。 Python API 提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD BCS erver两种方式访问。其中JDB CS erver的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚本和spark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。另外，由于本文档中涉及的样例程序已添加安全认证，建议不要使用proxy user参数去提交任务。

MAPREDUCE服务 MRS Spark2x开发指南（安全模式）

MAPREDUCE服务 MRS-Spark应用开发简介:Structured Streaming常用概念

Structured Streaming常用概念 Input Source 输入数据源，数据源需要支持根据offset重放数据，不同的数据源有不同的容错性。 Sink 数据输出，Sink要支持幂等性写入操作，不同的sink有不同的容错性。 outputMode 结果输出模式，当前支持3种输出模： Complete Mode：整个更新的结果集都会写入外部存储。整张表的写入操作将由外部存储系统的连接器完成。 Append Mode：当时间间隔触发时，只有在Result Table中新增加的数据行会被写入外部存储。这种方式只适用于结果集中已经存在的内容不希望发生改变的情况下，如果已经存在的数据会被更新，不适合适用此种方式。 Update Mode：当时间间隔触发时，只有在Result Table中被更新的数据才会被写入外部存储系统。注意，和Complete Mode方式的不同之处是不更新的结果集不会写入外部存储。 Trigger 输出触发器，当前支持以下几种trigger：默认：以微批模式执行，每个批次完成后自动执行下个批次。固定间隔：固定时间间隔执行。一次执行：只执行一次query，完成后退出。连续模式：实验特性，可实现低至1ms延迟的流处理（推荐100ms）。 Structured Streaming支持微批模式和连续模式。微批模式不能保证对数据的低延迟处理，但是在相同时间下有更大的吞吐量；连续模式适合毫秒级的数据处理延迟，当前暂时还属于实验特性。在当前版本中，若需要使用流流Join功能，则output模式只能选择append模式。图6 微批模式运行过程简图图7 连续模式运行过程简图