检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系网络管理员,提升网口速率。
DFS块数量小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14003 重要 说明: MRS 3.1.5版本告警级别为“紧急”。 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
9补丁会提示需要用户输入root密码或者密钥。 否,需要先安装MRS 3.2.0-LTS.1.8补丁,安装完需要重启相关服务,具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。
MRS扩容场景下的可靠性增强。 优化MRS Manager的部分UI显示。 MRS安全集群创建角色时无法添加Hive组件权限。 补丁兼容关系 包含1.5.1版本发布的所有补丁解决的问题。 安装补丁的影响 安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全
解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.6补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.6补丁期间会重启MRS Manager,滚动重启Hadoop、Hive
解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.7补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.7补丁期间会重启MRS Manager,滚动重启Hadoop、Hive
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 部分用户(例如银行、政府单位等)对数据安全非常关注,不接受将自己的数据与其他用户放在一起。
示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive on MR查询Avro表失败问题 解决HiveServer加载UDF场景可能出现内存泄漏问题
访问Manager页面报错“请求VPC错误” 用户问题 通过管理控制台前往Manager,报错“请求VPC错误”。 原因分析 当前用户没有VPC的访问权限。 IAM子用户所在的组有互斥权限导致访问Manager异常。 当前用户没有添加安全组中IP的权限,或安全组中添加的IP发生变化。
ALM-17003 Oozie服务不可用 告警解释 系统每5秒周期性检测Oozie服务状态,当Oozie或者Oozie所依赖的组件无法正常提供服务时,系统产生此告警。 当Oozie服务恢复可用状态时,告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 17003 紧急 是
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期MapReduce框架中的JobTracker性能瓶颈,开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建
HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEn
Hive基本原理 Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。
Spark SQL Native DDL/DML Spark 1.5版本将很多DDL/DML命令下压到Hive执行,造成了与Hive的耦合,且在一定程度上不够灵活(比如报错不符合预期、结果与预期不一致等)。 Spark 3.1.1版本实现了命令的本地化,使用Spark SQL Native
称。 在集群详情页,单击页面右上角“配置 > 同步配置”。 本操作仅适用于MRS 2.x及之前版本。 图1 同步配置(以MRS 1.9.2版本为例) 在弹出窗口勾选“重启配置过期的服务或实例。”,并单击“确定”,重启配置过期的服务。 界面提示“操作成功”,单击“完成”,集群成功启动。
无法访问MRS集群Manager页面如何处理? 问题现象 MRS集群创建完成后,无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态:Manager页面无法正常访问,请首先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问Manager。
使用DBeaver访问HetuEngine 本章节以DBeaver 7.2.0版本为例,讲解如何访问HetuEngine。 前提条件 DBeaver已正常安装。DBeaver软件下载链接:https://dbeaver.io/files/7.2.0/ 。 已在集群中创建“人机”用
通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时,单击Yarn WebUI页面的队列名称时,系统上报“ERROR 500”的错误。 HTTP ERROR 500 javax.servlet.ServletException:
选择“现有集群”,单击集群名称进入集群详情页面。 在页面右上角选择“管理操作 > 滚动重启集群”。 图1 滚动重启集群(以MRS 1.9.2版本为例) 弹出“滚动重启集群”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启集群。 滚动重启任务完成后,单击“完成”。 通过Manager重启集群
节点隔离成功后,节点状态显示为“已隔离”。在“节点管理”页面出现“退订节点”按钮。 集群版本为MRS 3.1.0、3.1.5、3.2.0-LTS.1版本时: 选择“节点管理”,在待退订节点组对应的“操作”列单击“退服节点”。 选择需要退服的节点并单击“确定”对节点进行退服。 退服节点过程的