检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用多线程Consumer消费消息 功能简介 在使用Consumer API订阅安全Topic并消费基础上，实现了多线程并发消费，可根据Topic的Partition数目启动相应个数的Consumer线程来对应消费每个Partition上的消息。 下面代码片段在com.huawei
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学
Storm样例程序开发思路 通过典型场景，用户可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
b”。 例如，在IE浏览器地址栏中，输入“https://10.0.0.1:28443/web”。 选择“集群 > 待操作集群的名称 > 服务 > Storm”，单击进入Storm WebUI。 在Storm UI中单击word-count应用，查看应用程序运行情况，如图1所示。
时准备在主NameNode出现异常时接管其服务。 Journalnode 高可用性（High availability，HA）集群下，用于同步主备NameNode之间的元数据信息。 ZKFC ZKFC是需要和NameNode一一对应的服务，即每个NameNode都需要部署ZKFC
Spark应用开发常用概念 基本概念 RDD 即弹性分布数据集（Resilient Distributed Dataset），是Spark的核心概念。指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。 RDD的生成： 从HDFS输入
Spark应用开发流程介绍 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程相同。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 了解基本概念
Spark Streaming对接kafka0-10程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用
Kafka 多线程Producer API使用样例 功能介绍 在Kafka Producer API使用样例基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
调测HBase Phoenix样例程序 HBase支持通过Phoenix调用JDBC接口来访问HBase服务。调测HBase Phoenix样例程序，默认集群已完成HBase对接Phoenix服务，具体对接步骤详情请参考HBase配置Phoenix。 在Windows中运行并调测程序 搭建
python样例代码调测。 HBase支持使用自带的ThriftServer2服务通过python来访问HBase服务。python样例仅支持在Linux环境中运行，调测HBase python样例程序需有与集群环境网络相通的ECS，详情请参见准备本地应用开发环境，并需要安装python环境，安
Flink Client CLI介绍 Flink CLI详细的使用方法参考官网描述：https://ci.apache.org/projects/flink/flink-docs-release-1.7/ops/cli.html。 常用CLI Flink常用的CLI如下所示： yarn-session
Impala应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Impala应用程序开发流程 表1 Impala应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Impala的基本概念。 Impala应用开发常用概念 准备开发和运行环境
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录，如“/opt/impala_examples”(Linux环境)，并在该目录下创建子目录“conf”。 执行mvn package ，在工程target目录下获取jar包，比如: impala-examples-mrs-2
Alluxio常用概念 Masters 由两个进程组成，一个是处理用户请求和管理Journal存储系统元数据的Alluxio Master，另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源（例如：内存、SDD、HDD），对底层存储进行数据操作。
Hive支持的传统关系型数据库语法说明 概述 Hive支持如下传统关系型数据库语法： Grouping EXCEPT、INTERSECT Grouping 语法简介： 当Group by语句带with rollup/cube选项时，Grouping才有意义。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
快速恢复业务。 Zookeeper异常导致merge无法正常执行。 登录Manager页面，检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警，如果存在，请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压：
使用hcatalog方式同步数据，报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据，报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweiclou
Hive对外接口介绍 Hive JDBC接口介绍 Hive WebHCat接口介绍 父主题： Hive应用开发常见问题
-client-example工程resources目录下的所有文件复制到“resources”下。 执行以下命令启动SpringBoot服务： 在Windows环境下执行： cd /d d:\hive-rest-client-example java -jar hive-rest-client-example-8
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
