检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
macOS使用浏览器访问MRS Manager 问题现象 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。 原因分析 由于Mac电脑的证书限制导致无法访问。 处理步骤 复制MRS Manager的登录链接，使用Chrome浏览器访问。 显示MRS Manage
集群运维 告警管理 MRS可以实时监控大数据集群，通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况，当监控数据达到告警阈值，系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接，将告警信息
配置HetuEngine智能物化视图能力 HetuEngine智能物化视图概述 基于智能物化视图，HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习，基于收益最大化原则自动生成高价值物化视图的候选SQL。在
Manager会检查监控指标数值是否满足阈值条件，若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警，支持自定义。 “检查周期（秒）”表示Manager检查监控指标的时间间隔。 规则列表中的条目为触发告警的规则。 单击“添加规则”，可以新增指标的监控行为。 表1 监控指标规则参数
事件全景数据监控，提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监控指标推送至AOM服务，用户可以方便查看监控指标相关信息。 本示例提供通过FlinkResource、FlinkServer和客户端三种方式对接AOM服务，将Flink监控指标上传至AOM服务。
MRS集群提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态。 MRS支持配置监控指标阈值用于关注各指标的健康情况，如果出现异常的数据并满足预设条件后，系统将会触发告警信息，并在告警页面中出现此告警信息。 如果部分阈值类监控告警经评估后对业务影响可忽
登录后可以查看Kafka集群监控页面、Topic监控页面、Consumer监控页面，例如： 图3 Kafka集群监控 图4 Topic监控 图5 Consumer监控 Kafka Eagle对接常见问题 问题现象： 无法获取Kafka CPU与内存监控信息日志提示。 java.io
where条件以及索引等设置不合理问题，导致SQL查询很慢，影响数据库的整体性能。针对该场景，MRS提供了ClickHouse慢查询语句的监控功能。 正在进行的慢查询 当前还在执行没有返回结果的慢SQL语句信息可以通过该界面查询。 慢查询菜单路径 MRS 3.2.0之前版本：登录FusionInsight
nTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点： 采集指标在某一时间点具有唯一值，没有复杂的结构及关系。 监控的指标具有随着时间不断变化的特点。 具有HBase的高吞吐，良好的伸缩性等特点。
Manager关键特性 Manager关键特性：统一监控告警 Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态，同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况，并在故障时实时上报告警。通过界
0个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。 通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception
和使用MRS 华为云大数据技术解密 华为云大数据技术私享会资料下载 华为云EI企业智能 华为云EI基于AI和大数据技术，通过云服务的方式提供开放可信的平台。 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
0个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。 通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception
hdfs.dir.threshold 监控HetuEngine作业的大目录阈值，超过当前阈值就会上报事件。 单位：GB。 100 hive.job.hdfs.monitor.dir 监控Hive作业的大目录监控路径，不允许监控根目录。 如果需要监控的目录包含用户目录等可变目录使用/*/代替。
DefaultMetricsConsumer：表示不收集OBS监控指标 要使用OBS监控功能，需确保上报OBS监控指标开关打开。 org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider 父主题： 使用Spark/Spark2x
产生告警的集群或者系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 监控指标上报CES失败，在CES中无法看到MRS云服务的监控指标。 可能原因 权限问题请求CES接口失败。 网络问题上报CES数据失败。 服务内部问题导致上报CES数据失败。
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
指定服务器上用户自定义已经存在的数据监控目录。 查看Flume Agent运行用户对步骤13所指定的监控目录是否有可读可写可执行权限。 是，执行17。 否，执行16。 使用Flume运行用户进入监控目录，若可以创建文件，这说明Flume运行用户是否对该监控目录具有可读可写可执行权限。 执行“chmod
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
