检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkResource日志列表 日志类型 日志文件名 描述 FlinkResource运行日志 checkService.log 健康检查日志。 kinit.log 初始化日志。 postinstall.log 服务安装日志。 prestart.log prestart脚本日志。 start
通过Yarn WebUI查看作业日志时提示“Could not access logs page!” 问题背景与现象 登录Yarn WebUI界面查看作业日志“Logs”,然后单击“Local logs”,界面提示“Could not access logs page!”。 原因分析
HiveServer审计日志 metastore-audit.log MetaStore审计日志 webhcat-audit.log WebHCat审计日志 jetty-<日期>.request.log Jetty服务的请求日志 日志级别 Hive提供了如表2所示的日志级别。 运行日志的级别优先
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内容被Hist
配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件:作业日志和任务日志。 作业日志由MRApplicationMaster产生,详细记录了作业启动时间、运行时间,每个任务启动时间、运行时间、Counter值等信息。此日志内容被Hist
bservice/”(审计日志目录)。 日志归档规则:DBService的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1
ner的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,S
mapreduce.per.task.max.splits”,“值”为具体设定值,一般尽量设置大,修改后重启所有Hive实例。 父主题: Hive负载均衡
单击“保存”保存配置。单击“实例”,勾选所有Hive实例,选择“更多 > 重启实例”,输入当前用户密码,单击“确定”重启所有Hive实例。 父主题: Hive负载均衡
Spark2x > 实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启实例。 父主题: Hive负载均衡
查看HetuEngine Coordinator和Worker日志 在HetuEngine的WebUI界面,可以通过单击LogUI链接跳转至Yarn WebUI界面查看Coordinator和Worker日志。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight
启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 OFF
ner的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,S
er”(审计日志)。 HttpFS:“/var/log/Bigdata/hdfs/httpfs”(运行日志),“/var/log/Bigdata/audit/hdfs/httpfs”(审计日志)。 日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过10
Tez WebUI界面无法查看Yarn日志 问题 登录Tez WebUI界面,单击Logs跳转yarn日志界面失败,无法加载数据。 回答 Tez WebUI跳转Yarn Logs界面时,目前是通过hostname进行访问,需要在Windows机器中配置hostname到IP地址的映射。
er”(审计日志)。 HttpFS:“/var/log/Bigdata/hdfs/httpfs”(运行日志),“/var/log/Bigdata/audit/hdfs/httpfs”(审计日志)。 日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过10
ger界面中配置。 表1 日志介绍 日志类型 日志文件 日志描述 运行日志 connect.log CDLConnector的运行日志。 prestartDetail.log 服务启动前初始化集群的日志。 startDetail.log 启动服务的日志。 stopDetail.log
实例”,将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”,该值可通过单击角色名称,在“实例配置”页面中选择“全部配置”,搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址,并执行df -lh命令,查看磁盘占用率为100%的挂载
DBroker进程的GC日志 /dbroker/apache_hdfs_broker.log DBroker进程的运行日志 审计日志 fe.audit.log 审计日志,记录FE接收的所有SQL请求 日志级别 Doris提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别
ZooKeeper > 实例”查看。 “hiveserver2_zk”为3中参数“hive.server2.zookeeper.namespace”设置的具体设定值。 系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 “hive/hadoop