检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
me/flume/flumeServer.log 问题：当配置文件上传后，发现异常，重新上传配置文件，发现仍然没有满足场景要求，但日志上没有任何异常。 解决方法：重启此flume进程，kill -9 进程代码，再看日志。 问题：连接HDFS出现java.lang.IllegalArgumentException:
me/flume/flumeServer.log 问题：当配置文件上传后，发现异常，重新上传配置文件，发现仍然没有满足场景要求，但日志上没有任何异常。 解决方法：重启此flume进程，kill -9 进程代码，再看日志。 问题：连接HDFS出现java.lang.IllegalArgumentException:
运行中的任务日志存储在以上路径中，运行结束后会基于YARN的配置是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 日志归档规则： MapReduce的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-
I页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。
I页面就是通过读取解析这些日志文件获得的。在启动HistoryServer进程时，内存大小就已经定了。因此当日志文件很大时，加载解析这些文件就可能会造成内存不足，driver gc等问题。 所以为了在小内存模式下能加载较大日志文件，需要对大应用开启日志滚动功能。一般情况下，长时间运行的应用建议打开该功能。
单击“查看日志”。 弹出一个新页面，显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。 当选择保留作业日志到OBS或HDFS时，系统在作业执行结束后，将日志压缩并存储到对应路径。因此，此类作业运行结束后，作业状态仍然为“运行中”，需等日志存储成功后，状
ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时（此日志文件大小可进行配置），会自动压缩。 压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。 父主题： ClickHouse数据库运维
其中“X”为随机生成的数字，请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存，例如root用户。 登录安装Flume客户端节点，切换到客户端安装目录，执行以下命令修改文件： vi conf/jaas.conf 修改参数“keyTab”定义的用户认证文件完整路径即4中保存用户认证文件的目录：“Flu
失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。 通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception Timeout或者SocketTimeout
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
配置LDAP输出审计日志 用户可以通过设置LDAP服务的审计日志输出级别，将审计内容输出至系统日志信息中（如“/var/log/messages”），用于查看用户的活动信息及操作指令信息。 LDAP的审计日志开启后，会产生大量日志信息，严重影响集群性能，请谨慎开启。 该章节仅适用于MRS
//hbase客户端日志输出配置，console：输出到控制台；RFA：输出到日志文件 hbase.security.logger=DEBUG,console,RFAS //hbase客户端安全相关的日志输出配置，console：输出到控制台；RFAS：输出到日志文件 hbase
查看MRS集群监控指标 查看MRS集群资源监控指标 查看MRS集群组件监控指标 查看MRS集群节点资源监控指标 配置MRS集群监控指标数据转储 父主题： MRS集群运维
HBase启动失败，RegionServer日志中提示“FileNotFoundException” 问题背景 HBase启动失败，RegionServer一直处于Restoring状态。 原因分析 查看RegionServer的日志（/var/log/Bigdata/hbase/rs/hbase-omm-XXX
Kafka 样例工程配置文件说明 Conf目录个各配置文件及重要参数配置说明 Producer API配置项 表1 producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型，当前Kerberos
对系统的影响 diskmgt磁盘监控服务不可用时，影响系统对磁盘信息和分区信息的监控，如设备分区文件系统只读检测、设备分区丢失检测、磁盘分区扩容检测等。 可能原因 diskmgt磁盘监控服务不存在。 diskmgt磁盘监控服务未启动。 处理步骤 检查diskmgt磁盘监控服务是否存在。 登录FusionInsight
Flume日志采集概述 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
Flume日志采集概述 Flume是一个分布式、可靠和高可用的海量日志聚合的系统。它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。支持在系统中定制各类数据发送方，用于收集数据。同时，提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
命令发现如下文件占用大量磁盘空间。 Mapreduce服务的汇聚日志配置参数如下： 原因分析 客户提交任务的操作过于频繁，且聚合后的日志文件被删除的时间配置为1296000，即聚合日志保留15天，导致汇聚的日志无法在短时间内释放，从而引起磁盘被占满。 处理步骤 登录Manager页面，进入Mapreduce服务配置参数页面。
提交Storm拓扑后Worker日志为空 现象描述 在Eclipse中远程提交拓扑成功之后，无法在Storm WebUI查看拓扑的详细信息，并且每个拓扑的Bolt和Spout所在Worker节点在一直变化。查看Worker日志，日志内容为空。 可能原因 Worker进程启动失败，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
