检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云硬盘可以为MRS使用的弹性云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。 扩容数据盘 云监控服务(Cloud Eye) 云监控服务为用户提供立体化监控平台。使您全面了解MRS的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 - 裸金属服务器(Bare
定”。 出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上调出“Loader堆内存资源状况”监控图表,观察该监控图表中“Loader使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆
大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行,同时将该节点数据拷贝至其他节点,
新特性和优化 MRS Manager 支持对慢盘自动隔离能力。 支持EVS磁盘分区容量扩容。 支持D系列磁盘热插拔。 支持运维巡检特性。 支持监控指标上报CES。 支持HDFS单副本检测能力。 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系
通过打印HiveServer进程jstack,查看相关线程是否卡顿在访问HDFS部分,是的话则表示访问HDFS变慢。 方法三: 查看HDFS RPC监控,看是否在SQL运行变慢期间HDFS RPC异常升高,是的话则大概率是访问HDFS变慢。 访问Yarn变慢 查看HiveServer运行日
操作系统健康状态监控 周期采集操作系统硬件资源使用率数据,包括CPU、内存、硬盘、网络等资源的使用率状态。 进程健康状态监控 MRS提供业务实例的状态以及业务实例进程的健康指标的检查,能够让用户第一时间感知进程健康状态。 硬盘故障的自动处理 MRS对开源版本进行了增强,可以监控各节点上的
ClickHouse性能调优 数据表报错Too many parts解决方法 加速Merge操作 加速TTL操作 父主题: 使用ClickHouse
修复问题列表: MRS Manager 解决安装补丁后扩容会导致capacity-schedule.xml中新增的队列配置丢失问题 回退全链路监控 大数据组件 解决spark操作hive赋权失败问题 解决不指定队列,默认提交到launcher-job队列,影响任务正常运行问题 MRS
meNode之间的元数据信息。 ZKFC ZKFC是需要和NameNode一一对应的服务,即每个NameNode都需要部署ZKFC。它负责监控NameNode的状态,并及时把状态写入Zookeeper。ZKFC有选择哪个NameNode作为主NameNode的权利。 Colocation
主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 父主题: 集群管理
1 发布时间 2020-07-06 解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0
iveServer的session数为C,调整策略为A x B > C ,连接到HiveServer的session数可在Hive的监控界面查看监控指标“HiveServer的session数统计”。 查看本告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight
Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中单击“按Znode数量”,查看监控中是否有顶级Znode被写入较多数据。 是,执行2。 否,执行4。 登录FusionInsight Manager,选择“运维
Nimbus可用性检查日志。 nimbus/checkService.log Nimbus可服务性检查日志。 nimbus/metrics.log Nimbus监控统计的日志。 nimbus/nimbus.log Nimbus进程运行日志。 nimbus/postinstall.log Nimbus安装后的工作日志。
educe任务,用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。 具体操作:在公有云管理控制台,选择“基本信息 > Yarn监控信息”进入Web界面,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施。 或者也可以通过查看Ma
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS 2.1.0.7 修复问题列表: MRS Manager
Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe
常登录FusionInsight Manager平台,无法进行正常运维操作。 pms进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 pms进程异常。 处理步骤 检查pms进程是否异常。 打开FusionInsight Mana
Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题; 解决pms心跳检查客户端无法将localhost地址映射成ipv6地址问题; 解决指定时间段内主机资源概况,监控数据为空,查看失败的问题; 解决Zookeeper服务活动链接数监控显示异常问题;