检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和driver都要通信,这就会导致由于内存不足,进程之间通信断连等问题。 当把Driver的内存设置到4g时,应用成功跑完。 使用ThriftServer执行TPC-DS测试套,默认参数配置下也报了很多错误:Executor Lost等。而当配置Driver内存为30g,exec
Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高,用top -c命令查看到占用内存较高的进程中有knox进程,且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存,进程会自动根据系统内存大小按照比例划分可用内存,导致knox占用内存大。
PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理? 问题现象 主Master节点内存使用率高,且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存:除了常见的执行计划缓存、数据缓存,PostgreSQL为了提高生
定制 > CPU和内存”,勾选“HiveServer内存使用率统计”,单击“确定”,查看HiveServer进程使用的堆内存是否已达到HiveServer进程设定的最大堆内存的阈值(默认95%)。 是,执行4。 否,执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight
ALM-12202 进程内存使用率超过阈值 告警解释 系统每30秒周期性检测OMS主要进程内存使用状态,当检测到OMS主要进程内存使用率大于最大内存的90%(默认)时,产生当前告警。 当OMS主要进程内存使用率小于等于最大内存的90%时,告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。
制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进程使用的直接内存是否已达到HiveServer进程设定的最大直接内存的阈值(默认95%)。 是,执行4。 否,执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight
ALM-29004 Impalad进程内存占用率超过阈值 告警解释 以30s为周期检测Impalad进程系统内存占用率,当检测到的超过默认阈值(80%)时,系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否可自动清除
制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进程使用的非堆内存是否已达到HiveServer进程设定的最大非堆内存的阈值(默认95%)。 是,执行4。 否,执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight
重启manager-executor进程,该进程在Master1和Master2节点上为主备部署,同一时刻只有一个节点上运行该进程,首先确认节点上是否有该进程,如果有该进程则进行重启操作。 分别登录Master1节点和Master2节点,执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。 ps
的情况,此为正常情况,此时内存已经写满,用户需要考虑扩容,或者清理一些无用的数据。通常情况下,当内存使用率超过95%时需要及时关注。 排查原因 查询指定时段的内存使用率信息,具体操作请参见性能监控。“内存利用率”指标持续接近100%。 查询内存使用率超过95%的时间段内,“已逐出
已停售:Et2、E2、E1 停售的规格详情请参见已停售的实例规格。 表1 超大内存型实例特点 规格名称 计算 磁盘类型 网络 超大内存型E7 CPU/内存配比:1:20/1:21 vCPU数量范围:48-384 处理器:新一代英特尔® 至强® 可扩展处理器 CPU/内存配比为1:20的基频/睿频:2
JobHistory2x进程直接内存使用率过高,会影响JobHistory2x进程运行的性能,甚至造成内存溢出导致JobHistory2x进程不可用, 进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。
ALM-29015 Catalog进程内存占用率超过阈值 告警解释 以30s为周期检测Catalog进程系统内存占用率,当检测到的超过默认阈值(80%)时,系统产生此告警。 当系统检测到进程内存占用率下降到阈值以下时,告警将自动解除。 告警属性 告警ID 告警级别 是否自动清除 29015
JobHistory2x进程堆内存使用率过高,会影响JobHistory2x进程运行的性能,甚至造成内存溢出导致JobHistory2x进程不可用,进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。
ALM-29104 Tserver进程内存占用率超过阈值 告警解释 系统每60秒周期性检测Kudu Tserver进程内存占用率,当检测到Tserver进程占用率超过阈值,此时产生该告警。 Tserver进程内存占用率恢正常后,系统认为Kudu实例服务恢复,告警清除。 告警属性 告警ID
IndexServer2x进程堆内存使用率过高,会影响IndexServer2x进程运行的性能,甚至造成内存溢出导致IndexServer2x进程不可用,开启索引服务的Carbon业务执行变慢或失败。 可能原因 该节点IndexServer2x进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。
JobHistory进程直接内存使用率过高,会影响JobHistory进程运行的性能,甚至造成内存溢出导致JobHistory进程不可用。 可能原因 该节点JobHistory进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 登录MRS集群详情页面,选择“告警管理”。
JobHistory进程堆内存使用率过高,会影响JobHistory进程运行的性能,甚至造成内存溢出导致JobHistory进程不可用。 可能原因 该节点JobHistory进程堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。
JobHistory进程非堆内存使用率过高,会影响JobHistory进程运行的性能,甚至造成内存溢出导致JobHistory进程不可用。 可能原因 该节点JobHistory进程非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。
MemArtsCC Worker进程内存使用超过阈值 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 系统每30秒周期性检查MemArtsCC组件的CCWorker进程内存,当检查到超过最大限制时触发该告警。 当检测到CCWorker进程内存使用率低于阈值时,告警恢复。 告警属性