检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
暂不绑定 指标共享 用于采集大数据组件的监控指标,当用户使用集群过程中出现问题时,供华为云支持人员定位问题。 关闭 系统盘加密 是否对MRS集群节点所挂载的系统盘中的数据进行加密,默认关闭。
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。
自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 父主题: Oozie应用开发概述
如果节点间网络不通,请先解决网络不通的问题,可以检查两个节点是否在同一个安全组,是否有设置hosts.deny、hosts.allow 等。 在两端节点执行ssh-add -l 确认是否有identities信息。 是,执行4。 否,执行2。
monTime 0(不开启) 线程监控阈值,更新时间大于阈值时会重新启动该Source,单位:秒。 spoolDir - 监控目录。 fileSuffix .COMPLETED 文件传输完成后添加的后缀。
配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。
图1 主NameNode RPC处理平均时间 查看“主NameNode RPC处理平均时间”监控中,获取发出告警的NameService的当前的监控值。
整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
出现此告警时,说明当前Loader实例设置非堆内存大小无法满足当前业务使用场景,建议打开“Loader非堆内存资源状况”监控图表,观察该监控图表中“Loader使用的非堆内存大小”的变化趋势,根据当前非堆内存使用的大小,调整“-XX:MaxPermSize”的值为当前非堆内存使用量的两倍
整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
整个框架负责任务的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 父主题: MapReduce应用开发概述
taskmanager.network.netty.client.connectTimeoutSec:120s # netty的发送和接受缓冲区的大小(0表示netty默认参数,4MB) taskmanager.network.netty.sendReceiveBufferSize: 0 # netty的传输方式,默认方式会根据运行的平台选择合适的方式
180000 否 taskmanager.network.detailed-metrics 启用网络队列长度的详细指标监控。
自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 父主题: Oozie应用开发概述
在MRS流式集群中,Kafka Topic监控是否支持发送告警? 产生“ALM-18022 Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? HBase操作请求次数指标中的多级图表统计如何理解?
整个框架负责任务的调度和监控,以及重新执行已经失败的任务。
完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在鲲鹏服务器的客户端软件包。
配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:配置本地Windows开发环境与MRS集群节点内网络互通。
完整客户端 选择平台类型 客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64:可以部署在X86平台的客户端软件包。 aarch64:可以部署在TaiShan服务器的客户端软件包。