-
网络连接超时导致FetchFailedException - MapReduce服务 MRS
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.F
-
MRS集群节点如何进行操作系统漏洞升级 - MapReduce服务 MRS
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤 修
-
准备Hive应用开发和运行环境 - MapReduce服务 MRS
开发环境和运行环境:Linux系统。 安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。 表3
-
准备Hive应用开发和运行环境 - MapReduce服务 MRS
用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 Python开发工具的详细安装配置可参见配置Hive
-
集群内ClickHouseServer节点间数据迁移 - MapReduce服务 MRS
集群内ClickHouseServer节点间数据迁移 ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中,可以使用该工具将原节点上的部分数据迁移至新增节点上,从而达到扩容后的数据均衡。
-
启用集群间拷贝功能备份集群数据 - MapReduce服务 MRS
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间复制功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响
-
均衡Kafka扩容节点后数据 - MapReduce服务 MRS
均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属
-
ALM-12040 系统熵值不足 - MapReduce服务 MRS
方式之一进行配置,然后执行9。 方式一:使用“haveged”工具(真随机数方式):请联系操作系统供应商安装并启动该工具。 方式二:使用“rng-tools”工具(伪随机数方式):请联系操作系统供应商安装并启动该工具,并根据操作系统类型进行配置。 等待第二天零点,系统下一次熵值检查,查看告警是否自动清除。
-
批量刷新hosts文件 - MapReduce服务 MRS
批量刷新hosts文件 操作场景 在FusionInsight Manager界面上下载的客户端包中包含客户端批量升级工具,该工具在提供批量升级客户端功能的同时,也提供了轻量级的批量刷新客户端所在节点“/etc/hosts”文件的功能。 前提条件 更新前准备请参考批量升级客户端章节“客户端升级前准备”步骤。
-
启用集群间拷贝功能备份集群数据 - MapReduce服务 MRS
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间拷贝功能。 对系统的影响
-
集群内ClickHouseServer节点间数据迁移 - MapReduce服务 MRS
集群内ClickHouseServer节点间数据迁移 ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中,可以使用该工具将原节点上的部分数据迁移至新增节点上,从而达到扩容后的数据均衡。
-
ALM-12187 磁盘分区扩容失败 - MapReduce服务 MRS
使用root用户登录告警上报主机IP节点。 执行以下命令检测磁盘分区growpart扩容工具是否存在。 which growpart 回显类似如下说明工具存在,否则请联系运维人员安装growpart工具。 [root@xxx ~]#which growpart /usr/bin/growpart
-
Storm-Kafka开发指引 - MapReduce服务 MRS
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
-
Storm-Kafka开发指引 - MapReduce服务 MRS
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
-
Storm-Kafka开发指引 - MapReduce服务 MRS
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
-
检查HBase全局二级索引数据一致性 - MapReduce服务 MRS
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 使用方法 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检查结果会保存到“{
-
获取MRS应用开发样例工程 - MapReduce服务 MRS
dk/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例,单击“File > Settings > Appearance & Behavior
-
导入DWS表数据至ClickHouse - MapReduce服务 MRS
Studio工具。 使用已创建好的DWS集群中的数据库用户名、密码等信息,参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。
-
导入DWS表数据至ClickHouse - MapReduce服务 MRS
Studio工具。 使用已创建好的DWS集群中的数据库用户名、密码等信息,参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。
-
导入并配置Flink样例工程 - MapReduce服务 MRS
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import Project(Quick