检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TokenServer设置的堆内存无法满足当前TokenServer进程所需的堆内存,建议根据2查看“TokenServer堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“TokenServer
Hive任务失败,报没有HDFS目录的权限 Load数据到Hive表失败 参考Hive JDBC代码用例开发的业务应用运行失败 HiveServer和HiveHCat进程故障 MRS Hive连接ZooKeeper时报错“ConnectionLoss for hiveserver2” Hive执行insert
滚动方式安装补丁。 单击“是”,安装目标补丁。 查看补丁安装进度。 访问集群对应的MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置 > 补丁管理”,进入补丁管理页面即可看到补丁安装进度。 对于集群中被隔离的主机节点,请参见修复隔离MRS集群主机补丁进行补丁修复。
开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的: X86客户端: Oracle JDK:支持1.8版本; IBM JDK:支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端:
出,方法调用层次过多(比如存在无限递归调用)或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题,主要涉及参数为mapreduce.map.java.opts(调整map的栈内存)和mapreduce.reduce
> 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Kafka堆内存使用率”,单击“确定”。 图1 Kafka堆内存使用率 查看Kafka使用的堆内存是否已达到Kafka设定的最大堆内存的95%。
ctMemorySize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TagSync设置的直接内存无法满足当前TagSync进程所需的直接内存,建议根据2查看“TagSync直接内存使用率”,调整“GC_OPTS”参数中“-XX:MaxDirectMemorySiz
MaxPermSize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TagSync实例设置非堆内存大小无法满足当前TagSync进程所需的非堆内存,建议调整“GC_OPTS”参数中“-XX:MaxPermSize”的值为当前非堆内存使用量的两倍(或根据实际情况进行调整)。
用户提交到HetuEngine该故障计算实例的SQL任务会执行失败。 可能原因 HDFS服务异常 Yarn服务异常 Yarn队列资源不足 计算实例进程故障 处理步骤 检查HDFS服务状态。 在告警列表中,查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是,执行2。 否,执行4。
系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前RangerAdmin设置的堆内存无法满足当前RangerAdmin进程所需的堆内存,建议根据2查看“RangerAdmin堆内存使用率”,调整“GC_OPTS”参数中“-Xmx”的值为“RangerAdmin
MaxPermSize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前RangerAdmin实例设置非堆内存大小无法满足当前RangerAdmin进程所需的非堆内存,建议调整“GC_OPTS”参数中“-XX:MaxPermSize”的值为当前非堆内存使用量的两倍(或根据实际情况进行调整)。
“-l”:可选参数,表示日志目录,默认值为“/var/log/Bigdata”。 “-e”:可选参数,表示Flume实例的业务IP地址,主要用于接收客户端上报的监控指标信息。 “-n”:可选参数,表示自定义的Flume客户端的名称。 IBM的JDK不支持“-Xloggc”,需要修改“flume/conf/flume-env
Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。 根据表1所示的说明填写北向参数。 表1 Syslog对接参数 参数区域 参数 示例 参数说明
Kafka 直接重启 直接重启业务会中断 直接重启耗时约5分钟。 滚动重启 需要提前查看Broker各实例数据同步正常,可以参考Kafka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中,建议设置客户端Producer的配置参数“acks”的值为
MemorySize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前UserSync设置的直接内存无法满足当前UserSync进程所需的直接内存,建议根据2查看“UserSync直接内存使用率”,调整“GC_OPTS”参数中“-XX:MaxDirectMemorySi
告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 floatip进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 浮动IP地址异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开FusionInsight
> 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Kafka直接内存使用率”,单击“确定”。 图1 Kafka直接内存使用率 查看Kafka使用的直接内存是否已达到Kafka设定的最大直接内存的80%。
rySize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前PolicySync设置的直接内存无法满足当前PolicySync进程所需的直接内存,建议根据2查看“PolicySync直接内存使用率”,调整“GC_OPTS”参数中“-XX:MaxDirectMemory