检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理HetuEngine计算实例 配置HetuEngine资源组 配置HetuEngine Worker节点数量 配置HetuEngine维护实例 配置HetuEngine Coordinator运行的节点范围 导入导出HetuEngine计算实例配置 查看HetuEngine实例监控页面
选择“集群 > 服务 > Storm”,查看Storm服务当前状态,发现状态为“良好”,且监控指标内容显示正确。
出现此告警时,说明当前Loader实例设置直接内存大小无法满足当前业务使用场景,建议打开实例监控界面,在页面上调出“Loader直接内存资源状况”监控图表,观察该监控图表中“Loader使用的直接内存大小”的变化趋势,根据当前直接内存使用的大小,调整“-XX:MaxDirectMemorySize
Oozie Oozie提供REST接口与Hue交互,用于创建工作流、Coordinator、Bundle,以及它们的任务管理和监控。
当NettySource算子进入run阶段后,平台内部会不断监控其NettyClient状态是否健康,一旦发现其出现异常,即会重启NettyClient,重新与NettyServer建立连接并接收数据,以防接收的数据混乱。
MRS集群运维 MRS集群运维说明 登录MRS集群 查看MRS集群监控指标 MRS集群健康检查 MRS集群容量调整 备份恢复MRS集群数据 安装MRS集群补丁 MRS集群补丁说明 查看MRS集群日志 MRS集群安全配置 查看与配置MRS告警事件 MRS集群告警处理参考 配置MRS集群远程运维
Hive/Spark支持OBS FileSystem Hadoop/Hive/Spark支持OBS加密功能 MRS 1.8.10.3 修复问题列表: MRS Manager 解决磁盘IO使用率一直不变问题 MRS大数据组件 MRS Kafka支持Kafka Consumer Lag监控
设置为“true”表示启用监控,并根据scheduler的信息,启动抢占的功能。设置为“false”表示不启用。
开源组件结构复杂,安装、配置、管理过程费时费力,Manager提供了企业级的大数据集群的统一管理平台: 提供集群状态的监控功能,您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制,您能及时的获取系统的关键信息。 提供服务属性的配置功能,满足您实际业务的性能需求。
设置为“true”表示启用监控,并根据scheduler的信息,启动抢占的功能。设置为“false”表示不启用。
出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上调出“Loader堆内存资源状况”监控图表,观察该监控图表中“Loader使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍
检查客户端节点网络连接。
2.1.0.11 发布时间 2020-12-30 解决的问题 MRS 2.1.0.11 修复问题列表: MRS Manager 解决executor/knox/os日志不回滚问题 增加executor GC日志 解决knox重启失败问题 解决节点故障提交作业失败问题 支持全链路监控
Kafka Topic监控页签在Manager页面不显示如何处理? 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理? 如何切换访问MRS Manager方式? 为什么在Manager中找不到用户管理页面?
对系统的影响 NodeAgent代理进程异常,无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成,则组件业务无法保证正常。 可能原因 网络断连、硬件故障或操作系统执行命令缓慢。 NodeAgent进程内存不足。 NodeAgent进程故障。
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。
MRS集群管理概述 MRS管理平台概述 用户可以在集群创建完成后,通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。
除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。
Task 承载业务逻辑的运算单元,是Spark平台上可执行的最小工作单元。一个应用根据执行计划以及计算量分为多个Task。
方法三: 查看HDFS RPC监控,看是否在SQL运行变慢期间HDFS RPC异常升高,是的话则大概率是访问HDFS变慢。