检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果某个主机节点的运行状态不是良好,用户可以执行主机健康检查,快速确认某些基本功能是否存在异常。在日常运维中,管理员也可以执行主机健康检查,以保证主机上各角色实例的配置参数以及监控没有异常、能够长时间稳定运行。 执行集群节点健康检查(3.x及之后版本) 登录FusionInsight Manager。 单击“主机”。
查看“Yarn被终止的任务数超过阈值”告警详情中的“附加信息”,确认监控阈值是否设置过小。 是,执行3。 否,执行4。 选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 其它 > root队列下被杀死的任务数”,修改该监控的阈值。执行6。 选择“集群 > 待操作集群的名称
访问MRS Manager(MRS 3.x之前版本) 操作场景 MRS 3.x之前版本集群使用MRS Manager对集群进行监控、配置和管理,用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”,在集群
有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者(Producer)将消息发布到Kafka主题(Topic)
是,处理完毕。 否,执行6。 调整监控阈值 在FusionInsight Manager界面,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > CPU和内存 > 挂起的内存量”,根据实际需要,适当增加该告警的监控阈值。 等待5分钟,查看该告警是否消除。
系统每30秒周期性检测连接到HiveServer的Session数占HiveServer允许的最大session数的百分比,该指标可在Hive服务监控界面查看。连接到HiveServer的session数占最大允许数的百分比指标默认提供一个阈值范围(90%),当检测到百分比指标超过阈值范围产生该告警。
执行MRS集群健康检查 集群健康检查包含检查对象的“健康状态”、相关的告警和自定义的监控指标等三项检查项,但检查结果不能等同于界面上显示的“健康状态”。检查范围包含Manager、服务级别和主机级别的健康检查: Manager关注集群统一管理平台是否提供正常管理功能。 服务级别关注组件是否能够提供正常的服务。
有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者(Producer)将消息发布到Kafka主题(Topic)
nInsight-Client/”),解压软件包后获取“IoTDB/config”路径下的所有配置文件,放置到与准备放置编译出的Jar包同目录的“conf”目录下,用于后续调测,例如“/opt/client/conf”。 例如客户端软件包为“FusionInsight_Clust
IoTDB基本原理 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构,具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,
2016-03-02 17:46:19,017 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length
2016-03-02 17:46:19,017 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length
x B x C > D ,HDFS总存储空间可在HDFS NameNode页面查看,Hive已经使用HDFS的空间大小可在Hive的监控界面查看监控指标“Hive已经使用的HDFS空间大小”。 检查该告警是否恢复。 是,操作结束。 否,执行3。 对系统进行扩容。 对系统进行扩容。
2016-03-02 17:46:19,017 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length
2016-03-02 17:46:19,017 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length
2016-03-02 17:46:19,017 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length
ResourceManager分配Container给ApplicationMaster,ApplicationMaster和相关的NodeManager通讯,在获得的Container上启动Executor,Executor启动后,开始向Driver注册并申请Task。 Driver分配Task给Executor执行。
若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 表2 Python开发环境 准备项
即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配置项,避免两种模式下来回切换参数,提升软件易用性。 YARN-Cluster模式下,优先使用新增配置项的值,即服务端路径和参数。 YARN-Client模式下,直接使用原有的三个配置项的值。
IDEA中的JDK配置为Open JDK。 安装Junit插件 开发环境的基本配置。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备运行环境 进行应用开发时,