-
Hive任务失败,报没有HDFS目录的权限 - MapReduce服务 MRS
检查HDFS上表目录下所有文件目录的权限,发现有一个目录权限为700(只有文件属主能够访问),确认存在异常目录。 解决办法 确认该文件是否为手动异常导入,如不是数据文件或目录,删除该文件或目录。 当无法删除时,建议修改文件或目录权限为770。 父主题: 使用Hive
-
使用HBase客户端 - MapReduce服务 MRS
'f1:c1','myvalue1'。 get 获取行的值或者行的指定cell的值。例如get 'test','r1'。 scan 查询表数据。参数中指定表名和scanner,例如scan 'test'。 父主题: 各组件客户端使用实践
-
ALM-14025 租户文件对象使用率超过阈值 - MapReduce服务 MRS
当监控的租户目录下的文件对象使用率超过用户自定义设置的阈值时触发该告警,但不影响对该目录继续写入文件。一旦超过该目录分配的最大文件对象个数,则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。
-
ALM-24003 Flume Client连接中断 - MapReduce服务 MRS
Agent的sink名称。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。
-
查看静态服务池状态 - MapReduce服务 MRS
最近一个月 最近三个月 最近六个月 自定义:选择自定义时,在时间范围内自行选择需要查看的时间。 单击“查看”可以查看相应时间区间的服务资源数据。 自定义服务资源报表。 单击“定制”,勾选需要显示的服务源指标。 服务总体磁盘I/O读速率 服务总体内存使用大小 服务总体磁盘I/O写速率
-
更改NodeManager的存储目录 - MapReduce服务 MRS
新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 MRS 3.x之前的版本集群执行以下操作: 检查环境。
-
调测Kafka High level Streams样例程序 - MapReduce服务 MRS
properties 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
-
修改集群组件鉴权配置开关 - MapReduce服务 MRS
region.classes参数 单击“保存”,单击“确定”。 等待界面提示操作完成。 关闭HBase鉴权 关闭HBase鉴权后,原有的权限数据会继续保留。如果需要删除权限信息,请在关闭鉴权后,进入hbase shell删除表hbase:acl。 登录FusionInsight Manager。
-
访问FusionInsight Manager(MRS 3.x及之后版本) - MapReduce服务 MRS
”。 单击“确定”完成安全组规则添加。 通过云专线访问FusionInsight Manager 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往
-
访问FusionInsight Manager(MRS 3.x及之后版本) - MapReduce服务 MRS
”。 单击“确定”完成安全组规则添加。 通过云专线访问FusionInsight Manager 操作前请确保云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。云专线详情请参考什么是云专线。 登录MRS管理控制台。 单击集群名称进入集群详情页。 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往
-
YARN HA方案介绍 - MapReduce服务 MRS
ger都能访问。当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。这三种方式中只有ZooKee
-
ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值 - MapReduce服务 MRS
产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode容量配置和使用量 在FusionInsight
-
ALM-19016 在ZooKeeper上的数量配额使用率严重超过阈值 - MapReduce服务 MRS
产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配置和使用量 在FusionInsight
-
ALM-19025 HBase存在损坏的StoreFile文件 - MapReduce服务 MRS
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase存在损坏的StoreFile文件,可能会导致数据丢失。 可能原因 StoreFile文件内容损坏。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 >
-
Flume对接OBS文件系统 - MapReduce服务 MRS
步”右侧的“同步”进行IAM用户同步。 单击委托右侧的“管理委托”,选择需要绑定的委托并单击“确定”进行绑定。 创建OBS文件系统用于存放数据。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面,单击“创建并行文件系统”。 填写文件系统名称,例如“esdk-c-tes
-
ALM-14008 DataNode堆内存使用率超过阈值 - MapReduce服务 MRS
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode堆内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为
-
ALM-14019 DataNode非堆内存使用率超过阈值 - MapReduce服务 MRS
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode非堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS DataNode配置的非堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码
-
在本地Windows环境中调测HBase应用 - MapReduce服务 MRS
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample:
-
在本地Windows环境中调测HBase应用 - MapReduce服务 MRS
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample:
-
ALM-38009 Kafka Topic过载(适用于MRS 3.1.0及之前版本) - MapReduce服务 MRS
产生告警的Kafka Topic。 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。