MAPREDUCE服务 MRS-进程被终止如何定位原因:处理步骤
处理步骤
打开操作系统审计日志,给审计日志增加记录kill命令的规则,即可定位是何进程发送的命令。
操作影响
- 打印审计日志,会消耗一定操作系统性能,经过分析仅影响不到1%。
- 打印审计日志,会占用一定磁盘空间。该日志打印量不大,MB级别,且默认配置有老化机制和检测磁盘剩余空间机制,不会占满磁盘。
定位方法
在DataNode进程可能发生重启的所有节点,分别执行以下操作。
- 以root用户登录节点,执行service auditd status命令,确认该服务状态。
Checking for service auditd running
如果该服务未启动,执行service auditd restart命令重启该服务(无影响,耗时不到1秒)。
Shutting down auditd done Starting auditd done
- 审计日志临时增加kill命令审计规则。
增加规则:
auditctl -a exit,always -F arch=b64 -S kill -S tkill -S tgkill -F a1!=0 -k process_killed
查看规则:
auditctl -l
- 当进程有异常被终止后,使用ausearch -k process_killed命令,可以查询终止历史。
a0是被终止进程的PID(16进制),a1是kill命令的信号量。
验证方法
- 从 MRS 页面重启该节点一个实例,如DataNode。
- 执行ausearch -k process_killed命令,确认是否有日志打印。
例如以下命令ausearch -k process_killed |grep “.sh” ,可以看到是hdfs-daemon-ada* 脚本,关闭的DataNode进程。
停止审计kill命令方法
- 执行service auditd restart命令,即会清理临时增加的kill命令审计日志。
- 执行auditctl -l命令,如果没有相关信息,即说明已清理该规则。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 云主机与云服务器的区别_虚拟主机性价比
- linux虚拟主机系统_linux配置虚拟主机_Linux虚拟主机版
- linux云主机_学生云主机_云主机优惠_云主机空间
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 处理主机告警事件_主机安全告警_怎么处理主机安全告警
- 什么是主机监控_免费云监控_专业监控
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine