审计日志 审计日志记录的审计信息包含Manager审计信息和组件审计信息。 表4 Manager审计信息一览表 操作类型 操作 用户管理 创建用户 修改用户 删除用户 创建组 修改组 删除组 添加角色 修改角色 删除角色 密码策略修改 修改密码 密码重置 用户登录 用户注销 屏幕解锁 下载认证凭据 用户越权操作 用户账号解锁 用户账号锁定 屏幕锁定 导出用户 导出用户组 导出角色 集群 启动集群 停止集群 重启集群 滚动重启集群 重启所有过期实例 保存配置 同步集群配置 定制集群监控指标 配置监控转储 保存监控阈值 下载客户端配置 北向Syslog接口配置 北向SNMP接口配置 SNMP清除告警 SNMP添加trap目标 SNMP删除trap目标 SNMP检查告警 SNMP同步告警 创建阈值模板 删除阈值模板 应用阈值模板 保存集群监控配置数据 导出配置数据 导入集群配置数据 导出安装模板 修改阈值模板 取消阈值模板应用 屏蔽告警 发送告警 修改 OMS 数据库密码 重置组件数据库密码 重启OMM和Controller 启动集群的健康检查 导入证书文件 配置SSO信息 删除健康检查历史报告 修改集群属性 同步维护命令 异步维护命令 定制报表监控指标 导出报表监控数据 SNMP执行异步命令 重启WEB服务 定制静态资源池监控指标 导出静态资源池监控数据 定制主页监控指标 中止任务 还原配置 修改域和互信的配置 修改系统参数 集群进入维护模式 集群退出维护模式 OMS进入维护模式 OMS退出维护模式 批量退出维护模式 修改OMS配置 启用阈值告警 同步所有集群配置 服务 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 滚动重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服 启动实例 停止实例 定制实例监控指标 重启实例 滚动重启实例 导出实例监控数据 导入实例配置数据 创建实例组 修改实例组 删除实例组 移动到另一个实例组 服务进入维护模式 服务退出维护模式 修改服务显示名称 修改服务关联关系 下载监控数据 屏蔽告警 取消屏蔽告警 导出服务的报表数据 添加报表的自定义参数 修改报表的自定义参数 删除报表的自定义参数 倒换控制节点 新增挂载表 修改挂载表 主机 设置节点机架 启动所有角色 停止所有角色 隔离主机 取消隔离主机 定制主机监控指标 导出主机监控数据 主机进入维护模式 主机退出维护模式 导出主机基本信息 导出主机分布的报表数据 导出主机趋势的报表数据 导出主机集群的报表数据 导出服务的报表数据 定制主机集群监控指标 定制主机趋势监控指标 告警 导出告警 清除告警 导出事件 批量清除告警 采集日志 采集日志文件 下载日志文件 采集服务堆栈信息 采集实例堆栈信息 准备服务堆栈信息 准备实例堆栈信息 清理服务堆栈信息 清理实例堆栈信息 审计日志 修改审计转储配置 导出审计日志 备份恢复 创建备份任务 执行备份任务 批量执行备份任务 停止备份任务 删除备份任务 修改备份任务 锁定备份任务 解锁备份任务 创建恢复任务 执行恢复任务 停止恢复任务 重试恢复任务 删除恢复任务 多租户 保存静态配置 添加租户 删除租户 关联租户服务 删除租户服务 配置资源 创建资源 删除资源 增加资源池 修改资源池 删除资源池 恢复租户数据 修改租户全局配置 修改容量调度器队列配置 修改超级调度器队列配置 修改容量调度器资源分布 清除容量调度器资源分布 修改超级调度器资源分布 清除超级调度器资源分布 添加资源目录 修改资源目录 删除资源目录 定制租户监控指标 健康检查 启动集群的健康检查 启动服务的健康检查 启动主机的健康检查 启动oms健康检查 启动系统的健康检查 更新健康检查的配置 导出健康检查报告 导出集群健康检查的结果 导出服务健康检查的结果 导出主机健康检查的结果 删除健康检查历史报告 导出健康检查历史报告 下载健康检查报告 表5 组件审计信息一览表 审计日志 操作类型 操作 CDL审计日志 业务操作 创建Link 删除Link 创建Job 启动Job 删除Job IoTDB审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 删除时间序列/分区/函数/索引 修改时间序列操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL（数据定义）语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 DML（数据操作）语句 put数据（针对hbase:meta表、_ctmeta_表和hbase:acl表） 删除数据（针对hbase:meta表、_ctmeta_表和hbase:acl表） 检查并put数据（针对hbase:meta表、_ctmeta_表和hbase:acl表） 检查并删除数据（针对hbase:meta表、_ctmeta_表和hbase:acl表） 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 数据维护 向表中加载数据 向表中插入数据 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue 用户操作 用户登录 用户退出 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos账号密码 添加kerberos账号 删除kerberos账号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 元数据管理 查询connector 查询framework 查询step 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束，状态为成功 Container结束，状态为失败 Container结束，状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据 HetuEngine审计日志 作业管理 添加外部数据源 删除外部数据源 修改外部数据源 创建计算实例 启动计算实例 停止计算实例 删除计算实例 查询计算实例 修改计算实例配置 MRS 的审计日志保存在数据库中，可通过“审计管理”页面查看及导出审计日志。 组件审计日志的文件信息见下表。部分组件审计日志文件保存在“/var/log/Bigdata/audit”，例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3点自动将组件审计日志压缩备份到“/var/log/Bigdata/audit/bk”，最多保留最近的90个压缩备份文件，不支持修改备份时间。 其他组件审计日志文件保存在组件日志目录中。 表6 组件审计日志目录 组件名称 审计日志目录 DBService /var/log/Bigdata/audit/dbservice/dbservice_audit.log HBase /var/log/Bigdata/audit/hbase/hm/hbase-audit-hmaster.log /var/log/Bigdata/audit/hbase/hm/hbase-ranger-audit-hmaster.log /var/log/Bigdata/audit/hbase/rs/hbase-audit-regionserver.log /var/log/Bigdata/audit/hbase/rs/hbase-ranger-audit-regionserver.log /var/log/Bigdata/audit/hbase/rt/hbase-audit-restserver.log /var/log/Bigdata/audit/hbase/ts/hbase-audit-thriftserver.log HDFS /var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log /var/log/Bigdata/audit/hdfs/nn/ranger-plugin-audit.log /var/log/Bigdata/audit/hdfs/dn/hdfs-audit-datanode.log /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log /var/log/Bigdata/audit/hdfs/zkfc/hdfs-audit-zkfc.log /var/log/Bigdata/audit/hdfs/httpfs/hdfs-audit-httpfs.log /var/log/Bigdata/audit/hdfs/router/hdfs-audit-router.log HetuEngine /var/log/Bigdata/audit/hetuengine/hsbroker/hsbroker-audit.log.0 /var/log/Bigdata/audit/hetuengine/hsconsole/hsconsole-audit.log.0 /var/log/Bigdata/audit/hetuengine/hsfabric/hsfabric-audit.log.0 hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/container_ID/yyyyMMdd/hetuserver-engine-audit.log hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log Hive /var/log/Bigdata/audit/hive/hiveserver/hive-audit.log /var/log/Bigdata/audit/hive/hiveserver/hive-rangeraudit.log /var/log/Bigdata/audit/hive/metastore/metastore-audit.log /var/log/Bigdata/audit/hive/webhcat/webhcat-audit.log Hue /var/log/Bigdata/audit/hue/hue-audits.log Kafka /var/log/Bigdata/audit/kafka/audit.log Loader /var/log/Bigdata/loader/audit/default.audit CDL /var/log/Bigdata/audit/cdl/service/cdl-audit.log Mapreduce /var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log Oozie /var/log/Bigdata/audit/oozie/oozie-audit.log Spark2x /var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserver-audit.log /var/log/Bigdata/audit/spark2x/jdbcserver/ranger-audit.log /var/log/Bigdata/audit/spark2x/jobhistory/jobhistory-audit.log Storm /var/log/Bigdata/audit/storm/logviewer/audit.log /var/log/Bigdata/audit/storm/nimbus/audit.log /var/log/Bigdata/audit/storm/supervisor/audit.log /var/log/Bigdata/audit/storm/ui/audit.log Yarn /var/log/Bigdata/audit/yarn/rm/yarn-audit-resourcemanager.log /var/log/Bigdata/audit/yarn/rm/ranger-plugin-audit.log /var/log/Bigdata/audit/yarn/nm/yarn-audit-nodemanager.log ZooKeeper /var/log/Bigdata/audit/zookeeper/quorumpeer/zk-audit-quorumpeer.log IoTDB /var/log/Bigdata/audit/iotdb/iotdbserver/log_audit.log

日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表： 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息，可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服务运行产生的信息及调试信息、状态变迁、未产生影响的潜在问题和直接的错误信息。 审计日志 审计日志中记录了用户活动信息和用户操作指令信息，可用于安全事件中定位问题原因及划分事故责任。 MRS日志目录清单见下表： 表2 日志目录一览表 文件目录 日志内容 /var/log/Bigdata/audit 组件审计日志。 /var/log/Bigdata/controller 日志采集脚本日志。 controller进程日志。 controller监控日志。 /var/log/Bigdata/dbservice DBService日志。 /var/log/Bigdata/flume Flume日志。 /var/log/Bigdata/hbase HBase日志。 /var/log/Bigdata/hdfs HDFS日志。 /var/log/Bigdata/hive Hive日志。 /var/log/Bigdata/hetuengine HetuEngine日志。 /var/log/Bigdata/httpd httpd日志。 /var/log/Bigdata/hue Hue日志。 /var/log/Bigdata/kerberos Kerberos日志。 /var/log/Bigdata/ldapclient LDAP客户端日志。 /var/log/Bigdata/ldapserver LDAP服务端日志。 /var/log/Bigdata/loader Loader日志。 /var/log/Bigdata/logman logman脚本日志管理日志。 /var/log/Bigdata/mapreduce MapReduce日志。 /var/log/Bigdata/nodeagent NodeAgent日志。 /var/log/Bigdata/okerberos OMS Kerberos日志。 /var/log/Bigdata/oldapserver OMS LDAP日志。 /var/log/Bigdata/metric_agent MetricAgent运行日志。 /var/log/Bigdata/omm oms：“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。 oma：“omm”代理端的安装运行日志。 core：“omm”代理端与“HA”进程失去响应的dump日志。 /var/log/Bigdata/spark2x Spark2x日志。 /var/log/Bigdata/sudo omm执行sudo命令产生的日志。 /var/log/Bigdata/timestamp 时间同步管理日志。 /var/log/Bigdata/tomcat Tomcat日志。 /var/log/Bigdata/watchdog Watchdog日志。 /var/log/Bigdata/yarn Yarn日志。 /var/log/Bigdata/zookeeper ZooKeeper日志。 /var/log/Bigdata/oozie Oozie日志。 /var/log/Bigdata/kafka Kafka日志。 /var/log/Bigdata/storm Storm日志。 /var/log/Bigdata/iotdb IoTDB日志。 /var/log/Bigdata/cdl CDL日志。 /var/log/Bigdata/upgrade 升级OMS日志。 /var/log/Bigdata/update-service 升级服务日志。 /var/log/Bigdata/patch 补丁日志。

运行日志 运行日志记录的运行信息描述如表3所示。 表3 运行信息一览表 运行日志 日志描述 服务安装前的准备日志 记录服务安装前的准备工作，如检测、配置和反馈操作的信息。 进程启动日志 记录进程启动过程中执行的命令信息。 进程启动异常日志 记录进程启动失败时产生异常的信息，如依赖服务错误、资源不足等 进程运行日志 记录进程运行信息及调试信息，如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息，如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息，如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸载服务时执行的步骤操作信息，如清除目录数据、执行时间等

下载MRS集群日志（MRS 3.x之前版本） 用户已经获取账号对应的Access Key ID（AK）和Secret Access Key（SK）。 用户已经在账号的 对象存储服务 （OBS）中创建了并行文件系统。 在MRS Manager，单击“系统设置”。 单击“维护”下方的“日志导出”。 “服务”选择服务，“主机”填写服务所部署主机的IP，“开始时间”与“结束时间”选择对应的开始与结束时间。 在“导出类型”选择一个日志保存的位置。只有启用了Kerberos认证的集群支持选择。 “下载到本地”：表示将日志保存到用户当前的本地环境。然后执行8。 “上传到OBS”：表示将日志保存到OBS中。默认值。然后执行5。 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头，路径可以不存在，系统将自动创建。OBS的完整路径最大支持900个字节。 在“桶名”输入已创建的OBS文件系统名称。 在“AK”和“SK”输入用户的Access Key ID和Secret Access Key。 单击“确定”完成日志下载。

查看历史集群信息 登录MRS管理控制台。 选择“历史集群”，可查看已删除的历史集群信息。 单击集群名称，进入集群基本信息页面，可查看集群的配置信息、部署的节点信息、弹性伸缩信息、组件信息、作业信息、引导操作信息和标签信息。 表1 集群基本信息 参数 参数说明 集群名称 集群的名称，创建集群时设置。 集群状态 集群状态信息。 付费类型 显示创建集群时的付费类型，目前支持“按需计费”和“包年/包月”。 集群版本 集群的版本信息。 集群类型 创建集群时的集群类型。 集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 订单号 显示创建集群的订单号。该参数仅在“付费类型”为“包年/包月”时显示。 可用区 集群工作区域下的可用区，创建集群时设置。 默认生效子网 子网信息，创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 OBS权限控制 MRS用户与OBS权限的映射关系。 数据连接 集群关联的数据连接类型。 委托 集群绑定或修改的委托。 密钥对 密钥对名称，创建集群时设置。 如果创建集群时设置的登录方式为密码，则不显示。 Keberos认证 登录Manager管理页面时是否启用Kerberos认证。 说明： Kerberos认证模式不支持手动修改，集群创建成功后将无法开启和关闭此功能，需要在创建MRS服务集群的时候选择开启或者关闭Kerberos服务，建议重新创建集群。 企业项目 集群所属的企业项目，仅现有集群列表支持单击企业项目名称进入对应项目的企业项目管理页面。 安全组 集群的安全组名称。 流式Core节点LVM管理 流式Core节点的LVM管理功能是否开启。 数据盘密钥名称 用于加密数据盘的密钥名称。如需对已使用的密钥进行管理，请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 组件版本 集群安装各组件的版本信息。 委托 通过绑定委托，E CS 或BMS云服务将有权限来管理您的部分资源。

修改Manager日志级别 以omm用户登录主管理节点。 执行以下命令，切换路径。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令，修改日志级别。 ./setLogLevel.sh 日志级别参数 日志级别参数如下，优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少： “DEFAULT”：设置后恢复到默认日志级别。 “FATAL”：严重错误日志级别，设置后日志只会打印输出“FATAL”信息。 “ERROR”：错误日志级别，设置后日志打印输出“ERROR”和“FATAL”信息。 “WARN”：警告日志级别，设置后日志打印输出“WARN”、“ERROR”和“FATAL”信息。 “INFO”（默认）：提示信息日志级别，设置后日志打印输出“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “DEBUG”：调试日志级别，设置后日志打印输出“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “TRACE”：跟踪日志级别，设置后日志打印输出“TRACE”、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。