检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
出现此告警时,说明当前Doris实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上查看“Doris堆内存资源状况”监控图表,观察该监控图表中“Doris使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍(或根据实际情况进行调整)。
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults
ALM-45290 PolicySync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测PolicySync服务直接内存使用状态,当连续5次检测到PolicySync实例直接内存使用率超出阈值(最大内存的90%)时,产生该告警。当PolicySync直接内存使用率小于或等于阈值时,告警恢复。
任务总量基数,只有当应用的task总数(map端与reduce端之和)不小于该值时配置才会起作用。 不能为空且大于零。 taskStep 任务增量步进,与memoryStep共同决定内存调整量。 不能为空且大于零。 memoryStep 内存增量步进,在“yarn.app.mapreduce
ALM-45277 RangerAdmin堆内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务堆内存使用状态,当连续10次检测到RangerAdmin实例堆内存使用率超出阈值(最大内存的95%)时产生该告警,堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
ALM-45286 TagSync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测TagSync服务直接内存使用状态,当连续5次检测到TagSync实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当TagSync直接内存使用率小于或等于阈值时,告警恢复。 告警属性
ALM-45283 UserSync非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务非堆内存使用状态,当连续5次检测到UserSync实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > UserSync堆内存使用率”,单击“确定”。 图1 UserSync堆内存使用率 查看UserSync使用的堆内存是否已达到UserSync设定的阈值(默认值为最大堆内存的95%)。 是,执行4。 否,执行6。 在FusionInsight
任务总量基数,只有当应用的task总数(map端与reduce端之和)不小于该值时配置才会起作用 不能为空且大于零 taskStep 任务增量步进,与memoryStep共同决定内存调整量 不能为空且大于零 memoryStep 内存增量步进,在"yarn.app.mapreduce
大小的比例。 0.70 mapreduce.reduce.input.buffer.percent Reduce过程中保存映射输出信息的内存相对于最大堆大小的比例。当shuffle结束时,需保证reduce开始前内存中所有剩余的映射输出信息所使用的内存小于该阈值。 0.0 父主题:
大小的比例。 0.70 mapreduce.reduce.input.buffer.percent Reduce过程中保存映射输出信息的内存相对于最大堆大小的比例。当shuffle结束时,需保证reduce开始前内存中所有剩余的映射输出信息所使用的内存小于该阈值。 0.0 父主题:
根据2报错判断由于RegionServer内存不足导致RegionServer启动失败。 处理步骤 登录报错的RegionServer节点,执行以下命令查看节点剩余内存: free -g 执行top命令查看节点内存使用情况。 根据top提示结束内存占用多的进程(内存占用多并且非MRS自身组件的进程),并重新启动HBase服务。
ALM-45279 RangerAdmin非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测RangerAdmin服务非堆内存使用状态,当连续5次检测到RangerAdmin实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出,日志内容如下。 16/04/19 15:56:22 ERROR
TokenServer堆内存使用率超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测TokenServer服务堆内存使用状态,当连续10次检测到TokenServer实例堆内存使用率超出阈值(最大内存的95%)时产生该告警。 当系统检测到堆内存使用率小于阈值时,告警恢复。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用,Container会占用内存直到内存溢出;若检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
ALM-45282 UserSync直接内存使用率超过阈值 告警解释 系统每60秒周期性检测UserSync服务直接内存使用状态,当连续5次检测到UserSync实例直接内存使用率超出阈值(最大内存的80%)时,产生该告警。当UserSync直接内存使用率小于或等于阈值时,告警恢复。 告警属性
ALM-45287 TagSync非堆内存使用率超过阈值 告警解释 系统每60秒周期性检测TagSync服务非堆内存使用状态,当连续5次检测到TagSync实例非堆内存使用率超出阈值(最大内存的80%)时产生该告警,非堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别
提交Spark任务时Driver端提示运行内存超限 问题背景与现象 运行内存超限导致提交Spark任务失败。 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application