检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群日志概述 日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表： 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息，可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服
audit Yarn安全审计日志。 日志级别 Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 FATAL
log prestart脚本日志。 start.log 启动日志。 FlinkServer服务日志、审计日志和HA相关日志。 FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次，服务日志最多保留30天，审计日志最多保留90天。 日志大小和压缩文件保留个数可
SS.csv”，保存的审计日志历史文件数最大为50。 审计日志自动保存后，已归档的审计日志将不会在FusionInsight Manager界面中展示，Manager中可见的审计日志范围为上一次自动保存后至当前的审计日志内容。 配置审计日志转储至SFTP服务器（MRS 3.x及之后版本）
id}” 运行中的任务日志存储在以上路径中，运行结束后会基于YARN的配置是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“
数据操作：IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”，查看日志详情。 日志列表默认按时间顺序排列，时间最近的日志显示在最前端。 日志信息中的各字段说明如表1所示。 表1 日志说明 参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作
日志 MRS集群所有组件日志（如HDFS服务全部日志）支持通过主机接入的方式对接云日志服务。云日志服务（LTS）用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实
”（运行日志，ts2为具体实例名称），“/var/log/Bigdata/audit/hbase/ts2”（审计日志，ts2为具体实例名称）。 日志归档规则：HBase的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“
audit Yarn安全审计日志。 日志级别 Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 FATAL
DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Flink的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数，进入Hive服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效，无需重启服务。 日志格式 Hive的日志格式如下所示：
查看Spark任务日志失败 问题现象 任务运行中查看日志失败。 任务运行完成，但是查看不到日志。 原因分析 问题1：可能原因是MapReduce服务异常。 问题2：可能原因如下： Spark的JobHistory服务异常。 日志太大，NodeManager在做日志汇聚的时候出现超时。
bservice/”（审计日志目录）。 日志归档规则：DBService的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过1MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1
在“日志管理”页面中，可以查看日志组名称、日志存储时间、创建时间、创建类型和标签（支持修改）。单击日志组操作列的“修改”可修改日志组名称和日志存储时间。 单击日志组名称，可跳转到日志流详情页面。 创建日志流。 在云日志服务管理控制台，单击日志组名称对应的下拉按钮。 单击展开页面左上角的“创建日志流”，输入日志流名称，名称需要满足如下要求：
配置完成后立即生效，不需要重启服务。 日志格式 ZooKeeper的日志格式如下所示： 表3 日志格式 日志类型 组件 格式 示例 运行日志 zookeeper quorumpeer <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>
Spark Job对应的运行日志保存在哪里？ Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。 Spark Job完成的任务日志保存在HDFS的“/tmp/logs/用户名/logs”目录内。
“服务”选择服务，“主机”填写服务所部署主机的IP，“开始时间”与“结束时间”选择对应的开始与结束时间。 在“导出类型”选择一个日志保存的位置。只有启用了Kerberos认证的集群支持选择。 “下载到本地”：表示将日志保存到用户当前的本地环境。然后执行8。 “上传到OBS”：表示将日志保存到OBS中。默认值。然后执行5。
查看MRS集群审计日志 “审计”页面记录用户对集群Manager页面操作信息。管理员可查看用户在Manager上的历史操作记录，审计管理包含的审计内容信息，请参考审计日志。 该任务指导用户在MRS Manager查看、导出审计日志工作，用于安全事件中事后追溯、定位问题原因及划分事故责任。
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类，保存在集群各节点“/var/log/Bigdata/audit”，OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩，所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
