检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive的主要应用于海量数据的离线分析（如日志分析，集群状态分析）、大规模的数据挖掘（用户行为分析，兴趣分区，区域展示）等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制，在开源社区的Hive-3.1.0版本基础上，Hive新增如下特性： 数据文件加密机制：开源社区的Hive特性，请参见https://cwiki
开发Impala用户自定义函数 当Impala的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
HBase应用开发流程介绍 本文档主要基于Java API对HBase进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HBase的基本概念，了解场景需求，设计表等。
在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发常用概念 准备开发环境 使用Eclipse工具，请根据指导完成开发环境配置。 准备Eclipse与JDK 准备运行环境 HDFS的运行环境即HDFS客户端，请根据指导完成客户端的安装和配置。 准备HDFS应用运行环境 下载并导入样例工程
Java样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试。 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
在Linux环境中调测Storm应用 操作场景 Storm应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在
topic中的角色称为Producer。 Consumer 从Kafka topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题： Kafka应用开发概述
Kafka的客户端程序当前推荐使用java语言进行开发，并使用Maven工具构建工程。 准备Maven和JDK 准备运行环境 Kafka的样例程序运行环境即MRS服务所VPC集群的节点。 - 准备工程 Kafka提供了不同场景下的样例程序，您可以下载样例工程进行程序学习。或者您可以根据指导，新建一个Kafka工程。
OpenTSDB应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Opentsdb应用程序开发流程 表1 Opentsdb应用开发流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解OpenTSDB的基本概念，了解场景需求，设计表等。 OpenTSDB应用开发常用概念
Flink应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Flink应用程序开发流程 表1 Flink应用开发流程说明 阶段 说明 参考文档 了解基本概念 开始开发应用前，需要了解Flink的基本概念。 Flink应用开发常用概念 准备开发环境和运行环境 Fli
API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录，里面包含通过Java API访问Impala的样例代码。 HiveQL语言 Hive Query Language，类SQL语句，与Hive类似。 Statestore
建立Kudu连接 功能简介 通过KuduClient.KuduClientBuilder(KUDU_MASTERS).build()方法创建KuduClient对象。传入的参数KUDU_MASTERS为Kudu集群的Master地址列表，如果有多个Master节点，则中间用半角逗号隔开。
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段： //
读Kudu数据 功能简介 通过KuduClient.newScannerBuilder(KuduTable table)方法生成一个KuduScanner对象，然后再通过设置谓词条件从Kudu表里过滤读取数据。 代码样例 如下是读取数据的代码片段： KuduTable table
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（application/job）通常会
MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下MapReduce相关样例工程：
Flink Kafka样例程序 Flink Kafka样例程序开发思路 Flink Kafka样例程序（Java） Flink Kafka样例程序（Scala） 父主题： 开发Flink应用
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序（Java） Flink DataStream样例程序（Scala） 父主题： 开发Flink应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
