检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建集群Consumer消费数据失败，提示“GROUP_COORDINATOR_NOT_AVAILABLE” 问题背景与现象 新建Kafka集群，部署Broker节点数为2，使用Kafka客户端可以正常生产，但是无法正常消费。Consumer消费数据失败，提示GROUP_COORDINATOR_NOT_AVAILABLE
Hue中的输入框输入中文会出现混乱 用户问题 Hue中的输入框输入中文会出现混乱。 问题现象 Hue的输入框中输入中文时，会出现混乱，第一次输入不了的情况，也即输入的中文会首先出现英文，中文并未输入，再次输入会带上之前的内容，示例如下： 原因分析 Hue对中文的处理存在混乱的情况，
Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查集群是否安装过相关紧急补丁 使用root用户登录集群主节点，并进入“/home/omm”目录。 查看是否存在“MRS_3.1.0_HBase_patch_20220929”、“MRS_3.1.0_OBSA_Patch_20230428
Hive应用开发简介 Hive介绍 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下
开源sqoop-shell工具使用指导 概述 本章节适用于MRS 3.x及后续版本。 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业
Spark客户端使用实践 本章节提供从零开始使用Spark2x提交spark应用程序，包括Spark Core及Spark SQL。其中，Spark Core为Spark的内核模块，主要负责任务的执行，用于编写spark应用程序；Spark SQL为执行SQL的模块。 场景说明 假定用户有某个周末网民网购停留时间的日志文本
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构，以关键字EXTERNAL区分创建内部表和外部表。 内部表，如果对数据的处理都由Impala完成，则应该使用内部表。在删除内部表时，元数据和数据一起被删除
Producer发送数据失败，报错“TOPIC_AUTHORIZATION_FAILED” 问题现象 使用MRS安装集群，主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时，发现客户端报错：TOPIC_AUTHORIZATION_FAILED
从零开始使用CarbonData MRS 3.x之前版本参考本章节，MRS 3.x及后续版本请参考使用CarbonData（MRS 3.x及之后版本）。 本章节介绍使用Spark CarbonData的基本流程，所有任务场景基于spark-beeline环境。CarbonData快速入门包含以下任务
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
添加IoTDB数据源 本章节适用于MRS 3.2.0及之后的版本。 本章节指导用户在安全模式集群的HSConsole界面添加IoTDB类型的JDBC数据源。 添加IoTDB数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine
Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SecurityKafkaWordCount
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时，如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口： 服务器端配置 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点
如何查看MRS Hive元数据？ Hive的元数据存放在MRS服务集群的GaussDB中，可执行如下步骤查看： 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库： su - omm source $DBSERVER_HOME/.dbservice_profile
开启HetuEngine自适应查询执行 本章节适用于MRS 3.2.0及以后版本。 HetuEngine自适应查询介绍 一般来说，大任务的SQL语句（例如在从整个表中扫描大量数据的情况）会占用大量的资源，在资源紧张的情况下，会影响其他任务的负载。这不仅导致用户体验不佳，也会提高运维成本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
