检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。
n倍：参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值，默认值2。
可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。
在二次开发过程中，PRINCIPAL需要用到的用户名，应该填写为带域名的用户名，例如创建的用户为test，域名为HADOOP.COM，则其PRINCIPAL用户名则为test@HADOOP.COM，代码举例： conf.set(PRINCIPAL, "test@HADOOP.COM
可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。
ClickHouse消费Kafka数据异常 问题现象 用户在ClickHouse集群创建Kafka引擎表test.user_log_kafka消费Kafka数据，查看Kafka监控发现凌晨开始出现消息堆积，数据一直没有被消费。
查看“/proc/sys/net/ipv4/ip_local_port_range”显示为“9000 65500”，临时端口范围与MRS产品端口范围重叠，因为安装时未进行preinstall操作。
图1 HBase服务和Hue服务状态 新增弹性公网IP访问MRS Manager功能，弹性公网IP使用及注意事项说明参考访问MRS集群Manager。
可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
该指标可以在HBase服务监控界面和RegionServer角色监控界面查看，当检测到某个RegionServer上的Region数超出阈值（默认连续20次超过默认阈值2000）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 服务 > HBase”修改阈值。
n倍：参数“metrics.reporter.alarm.job.alarm.rocksdb.background.jobs.multiplier”的值，默认值2。
原因分析 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查看当前Kafka状态，发现状态为良好，且监控指标内容显示正确。
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上，使用python插件的pipeline报错显示139错误。
主OMS节点的IP地址信息可在Manager的“主机”页面中查看带有标志的主机信息。 执行如下命令，查看Manager的版本号及平台信息。 su - omm cd ${BIGDATA_HOME}/om-server/om/sbin/pack .
每秒的fetch请求数 Topic每秒的produce请求数 支持查询Broker ID与节点IP的对应关系。
基于Ext提供WEB Console，该Console仅提供对Oozie工作流的查看和监控功能。
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。
telnet Kafka业务IP Kafka业务port 如果无法telnet成功，请检查网络安全组与ACL。 通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
