正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群频繁产生节点间心跳中断告警 问题现象 MRS集群频繁上报Manager主备节点间心跳中断、DBService主备节点间心跳中断、节点故障等告警,偶尔会造成Hive不可用,影响上层业务。 原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。
DataNode概率性出现CPU占用接近100%导致节点丢失 问题背景与现象 DataNode概率性出现CPU占用接近100%,导致节点丢失(ssh连得很慢或者连不上)。 图1 DataNode出现CPU占用接近100% 原因分析 DataNode有许多写失败的日志。 图2 DataNode写失败的日志
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通,在集群外节点使用client模式提交Spark任务到Yarn上,任务失败,报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候,Spark的
Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理? 问题现象 客户购买的MRS Kafka流式集群节点内有多块磁盘,由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。
MRS集群内节点是否支持降配操作? 问: MRS集群内节点是否支持降配操作? 答: MRS集群内节点暂不支持降级配置规格。 父主题: 产品咨询类
集群扩容之后新节点HRegionServer启动失败 问题现象 集群扩容完成之后,新节点的HRegionserver启动失败,一直处于异常状态,无法正常提供服务。 登录故障RegionServer所在节点,jps查看RegionServer进程没有启动,在Manager上手动重启
MRS集群Core节点扩容成功后部分实例启动失败 问题现象 Core节点扩容可能存在扩容节点完成,但节点上存在启动失败的实例的情况,现象如下: Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群不支持重装系统。 父主题: 节点管理类
扩容集群 场景描述 创建集群后,扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
x之前版本Flume客户端在日志生成节点安装Flume客户端,例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中“Flum
可参考安装Flume客户端在日志生成节点安装Flume客户端,例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中“Flum
费,但ECS需要为此付费。 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。
若某复制表只存在于集群的部分实例节点上,则无法对该复制表所在的实例节点进行退服。需要在集群中不存在此复制表的所有实例节点上手工创建此复制表。 比如,当前集群2个分片,分片1下面有两个节点A和B,分片2下面有两个节点C和D。创建复制表test的时候没有携带ON CLUSTER关键字,只在节点A和B上创建了该表。
MRS集群内节点的登录方式如何切换? 问:MRS集群内节点的登录方式(密码或密钥对)如何切换? 答:不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类
HDFS客户端安装在数据节点导致数据分布不均衡 问题背景与现象 HDFS的DataNode数据分布不均匀,在某节点上磁盘使用率很高,甚至达到100%,其他节点空闲很多。 原因分析 客户端安装在该节点,根据HDFS数据副本机制,第一个副本会存放在本地机器,最终导致节点磁盘被占满,而其他节点空闲很多。
查看MRS集群资源监控指标 MRS支持将集群中所有部署角色的节点,按管理节点、控制节点和数据节点进行分类,分别计算关键主机监控指标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理
MRS集群内的节点中可以部署爬虫服务吗? 问:MRS集群内的节点中可以部署爬虫服务吗? 答:为正常保障集群稳定运行,MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题: 周边生态对接类
如何上传本地文件到集群内节点? 登录MapReduce服务管理控制台。 选择“现有集群”,单击集群名,进入集群基本信息页面。 在“节点管理”页签单击任一节点名称,登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览,将本地文件上传到集群节点。
单击“主机”,进入主机页面。 查看并记录主备管理节点IP。 图1 查看并记录主备管理节点IP 主机名称前带有表示主管理节点(主OMS节点),查看对应主机行的“管理IP”,即为对应节点IP。 主机名称前带有表示备管理节点(备OMS节点),查看对应主机行的“管理IP”,即为对应节点IP。 父主题: 登录MRS集群
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后,MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令,查看各个节点的hostname值,根