检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“Topic > List”查看当前集群的Topic列表及每个Topic的相关信息。 图3 Topic列表 单击具体的Topic名称查看该Topic的详细信息。 图4 Topic的详细信息 查看Consumers信息 登录KafkaManager的WebUI界面。 在集群列表页面单击
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接。
钟为单位显示实时监控数据。 在窗口左侧分类中,选择一项监控资源主体,然后勾选一个或多个监控指标。 单击“确定”即可查看对应的监控指标详情。 导出监控指标报表。 导出全部监控数据 在“主页”选择所需要操作的集群的图表区的右上角,选择一个时间范围获取监控数据,例如“1周”。 默认为实
查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环,与集群内Flume服务端一起都需要监控,用户通过FusionInsight Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 监控指标转储失败会影响上层管理系统无法获取到FusionInsight Manager系统的监控指标。 可能原因 无法连接服务器。
MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impa
标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题: 安全
on启动的第一个容器。它负责和ResourceManager打交道并请求资源,获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YAR
量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,
表信息,无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 表1 服务资源监控 服务 监控指标 说明 HDFS 资源使用(按租户) 按租户统计HDFS的资源使用情况。 可选择按“容量”或“文件对象数”观察。 资源使用(按用户) 按用户统计HDFS的资源使用情况。
IO瓶颈观测手段: 通过Manager的监控页面查看单个节点上ZooKeeper请求监控,判断是否严重超出规格限制。 通过观测ZooKeeper的日志以及HBase的日志,查看是否有大量的IO Exception Timeout或者SocketTimeout Exception异常。 调优建议:
在“分布”页签,可查看集群的资源分布监控,默认显示1小时的监控数据。用户可单击自定义时间区间。 图1 资源分布概况 单击“选择指标”可以自定义所需查看的指标项。选择指标后,页面会显示在各个区间的主机分布图。 鼠标停留在某个色块时,会显示处于当前区间的主机数量。单击色块,页面会显示处于当前区间的主机列表。
查询管理”,即可查看正在进行的慢查询和已经结束的查询,还可以根据图表查看前Top 10的执行慢查询的用户名、提交慢SQL语句的客户端IP及慢查询语句,其中: Doris集群中Top 10使用的用户:用于统计登录Doris客户端执行慢查询排前TOP 10的Doris用户。 Doris集群中Top
OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点: 采集指标在某一时间点具有唯一值,没有复杂的结构及关系。
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。 查看MRS集群基本信息
“告警ID”和“告警名称”包含阈值将触发的告警信息。 Manager会检查监控指标数值是否满足阈值条件,若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警,支持自定义。 “检查周期(秒)”表示Manager检查监控指标的时间间隔。 规则列表中的条目为触发告警的规则。 单击“添加规则”,可以新增指标的监控行为。
tor和oracle-connector具有以下优点: 负载均匀,数据分片的个数和范围与源表的数据无关,而是由源表的存储结构(数据块)确定,颗粒度可以达到“每个数据块一个分区”。 性能稳定,完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快,数据分片的查询速度比用索引快。
MRS集群中Kafka Topic监控是否支持发送告警? 问: 在MRS流式集群中,Kafka Topic的监控是否支持发送告警? 答: 暂不支持Kafka Topic监控发送邮件和短信告警,用户可以在集群Manager界面查看组件相关告警信息。 父主题: 集群管理类
”等,开启物化视图的自动创建与自动刷新功能。业务用户可以通过配置客户端Session来获得基于自动创建的物化视图的自动改写与提速。 该能力可以极大降低用户使用物化视图功能的使用难度,带来业务无感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间,可实现对