-
网络问题导致运行应用程序时出现异常 - MapReduce服务 MRS
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
-
查看和定制集群监控指标 - MapReduce服务 MRS
查看和定制集群监控指标 MRS支持将集群中所有部署角色的节点,按管理节点、控制节点和数据节点进行分类,分别计算关键主机监控指标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。如果一个主机属于多类节点,那么对应的指标将被统计多次。 该任务指导用户了解MRS集群的
-
使用MRS客户端 - MapReduce服务 MRS
使用MRS客户端 安装MRS客户端 更新MRS客户端 父主题: 附录
-
使用MRS客户端 - MapReduce服务 MRS
使用MRS客户端 安装客户端 更新客户端 各组件客户端使用实践
-
ClickHouse表字段设计 - MapReduce服务 MRS
ardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
-
ALM-14029 单副本的块数超过阈值 - MapReduce服务 MRS
待补齐的块数量小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14029 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 NameService名 产生告警的NameService名称。 Trigger condition
-
JSON表中有破损数据导致Hive查询异常 - MapReduce服务 MRS
s.jar到本地,并将该Jar上传到所有的HiveServer所在节点。 以客户端安装用户,登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户
-
更新集群密钥 - MapReduce服务 MRS
更新集群密钥需要停止集群,集群停止时无法访问。 前提条件 停止依赖集群运行的上层业务应用。 操作步骤 在MRS Manager,选择“服务管理 > 更多 > 停止集群”。 在弹出窗口勾选“我已阅读此信息并了解影响。”,单击“确定”,界面提示“操作成功。”,单击“完成”,集群成功停止。
-
使用Flume - MapReduce服务 MRS
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
-
使用Phoenix Sqlline脚本报import argparse错误 - MapReduce服务 MRS
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
-
使用Phoenix Sqlline脚本报import argparse错误 - MapReduce服务 MRS
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
-
HDFS与其他组件的关系 - MapReduce服务 MRS
一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。 HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等
-
ALM-14003 丢失的HDFS块数量超过阈值 - MapReduce服务 MRS
14003 重要 说明: MRS 3.1.5版本告警级别为“紧急”。 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。
-
使用Yarn客户端命令查询历史作业报错 - MapReduce服务 MRS
执行Yarn客户端命令查询历史作业报错,进程被终止。具体错误如下: 原因分析 客户端分配内存不足,导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export GC_OP
-
查看集群补丁信息 - MapReduce服务 MRS
版本集群,补丁版本信息如下: 补丁名称:补丁包的名称。 发布时间:补丁包发布的时间。 状态:展示补丁的状态。 补丁内容:补丁版本的描述信息。 操作:可安装或者卸载补丁。 父主题: 集群概览
-
通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 - MapReduce服务 MRS
Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤 进入Sqoop的安装目录下查找文件。 进入Sqoop节点的“/opt/Bigdata/MRS_1.9.2/install/FusionInsight-Sqoop-1
-
Hue开源增强特性 - MapReduce服务 MRS
录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时,支持Failover或负载均衡工作模式。 父主题: Hue
-
YARN REST API接口介绍 - MapReduce服务 MRS
1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env 操作步骤
-
退服和入服务角色实例 - MapReduce服务 MRS
操作步骤 在MRS Manager,单击“服务管理”。 单击服务列表中相应服务。 单击“实例”页签。 勾选指定角色实例名称前的复选框。 选择“更多 > 退服”或“入服”执行相应的操作。 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务,可能导致MRS Manager提示停止退
-
运行Kafka客户端获取Topic时报错 - MapReduce服务 MRS
brokers: 0. 原因分析 由特殊字符导致获取的ZooKeeper地址变量错误。 处理步骤 登录任意一个Master节点。 执行cat 客户端安装目录/Kafka/kafka/config/server.properties |grep '^zookeeper.connect ='命