检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可参考安装Flume客户端在日志生成节点安装Flume客户端,例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中“Flum
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通,在集群外节点使用client模式提交Spark任务到Yarn上,任务失败,报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候,Spark的
盘付费,但ECS需要为此付费。 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。
大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行,同时将该节点数据拷贝至其他节点,该节
集群扩容之后新节点HRegionServer启动失败 问题现象 集群扩容完成之后,新节点的HRegionserver启动失败,一直处于异常状态,无法正常提供服务。 登录故障RegionServer所在节点,jps查看RegionServer进程没有启动,在Manager上手动重启
MRS集群内节点的登录方式如何切换? 问: MRS集群内节点的登录方式(密码或密钥对)如何切换? 答: 不可以切换。创建集群时选择了节点登录方式后不能更改登录方式。 父主题: 集群管理类
其他参数根据需要配置。 图1 添加Task节点组 非“自定义”类型集群添加Task节点操作步骤: 在集群详情页面,选择“节点管理”页签,单击“配置Task节点”,进入“配置Task节点”页面。 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。
MRS集群节点规格升级异常 问题现象 升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况,现象如下: 升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步,可在组件管理观察到存在异常角色。 若未同步,可在
node_name String 参数解释: 节点名称,对应manager里的节点名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 resource_id String 参数解释: 资源id。确定节点的唯一性,包周期节点可用于计费的查询。 约束限制: 不涉及 取值范围:
若某复制表只存在于集群的部分实例节点上,则无法对该复制表所在的实例节点进行退服。需要在集群中不存在此复制表的所有实例节点上手工创建此复制表。 比如,当前集群2个分片,分片1下面有两个节点A和B,分片2下面有两个节点C和D。创建复制表test的时候没有携带ON CLUSTER关键字,只在节点A和B上创建了该表。
MRS集群内的节点中可以部署爬虫服务吗? 问: MRS集群内的节点中可以部署爬虫服务吗? 答: 为正常保障集群稳定运行,MRS集群内节点中不能部署爬虫服务或其他第三方服务。 父主题: 周边生态对接类
MRS集群频繁产生节点间心跳中断告警 问题现象 MRS集群频繁上报Manager主备节点间心跳中断、DBService主备节点间心跳中断、节点故障等告警,偶尔会造成Hive不可用,影响上层业务。 原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。
如何上传本地文件到集群内节点? 登录MapReduce服务管理控制台。 选择“现有集群”,单击集群名,进入集群基本信息页面。 在“节点管理”页签单击任一节点名称,登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览,将本地文件上传到集群节点。
MRS集群Core节点扩容成功后部分实例启动失败 问题现象 Core节点扩容可能存在扩容节点完成,但节点上存在启动失败的实例的情况,现象如下: Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。
Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理? 问题现象 客户购买的MRS Kafka流式集群节点内有多块磁盘,由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。
使用调整集群节点接口时参数node_id如何配置? 问: 使用调整集群节点接口时(/v1.1/{project_id}/cluster_infos/{cluster_id}),请求参数“node_id”如何配置? 答: 使用调整集群节点接口时,请求参数“node_id”的值固定为“node_orderadd”。
单击“主机”,进入主机页面。 查看并记录主备管理节点IP。 图1 查看并记录主备管理节点IP 主机名称前带有表示主管理节点(主OMS节点),查看对应主机行的“管理IP”,即为对应节点IP。 主机名称前带有表示备管理节点(备OMS节点),查看对应主机行的“管理IP”,即为对应节点IP。 父主题: 登录MRS集群
MRS集群节点时间信息不正确如何处理? 如果集群内节点时间不正确,请分别登录集群内时间不正确的节点,并从2开始执行。 如果集群内节点与集群外节点时间不同步,请登录集群外节点,并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Ma
在左侧导航栏中选择“现有集群”,单击目标集群名称,进入集群信息页面。 在集群信息页面中,选择“节点管理”页签,单击目标节点组,在展开的节点名称列中单击任一节点,跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中,选择“基本信息”页签,进入云服务器基本信息页面后,在“云服务
如何关闭MRS集群内节点的防火墙服务? 问: 如何关闭MRS集群内节点的防火墙服务? 答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例