-
VERIFY - MapReduce服务 MRS
(mvname1,mvname2...) ORIGINALSQL query 描述 给定一条SQL查询语句,验证它是否可以被指定的物化视图重写。 示例 验证指定SQL是否能被物化视图mv.tpcds.test和mv.tpcds.t1重写。 verify materialized view
-
使用Hue WebUI访问HDFS文件失败 - MapReduce服务 MRS
WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。 父主题: Hue故障排除
-
优化Flink内存GC参数 - MapReduce服务 MRS
Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:
-
提交Flink作业时报错slot request timeout如何处理? - MapReduce服务 MRS
不成功。 用户的Jar包与环境中的Jar包冲突导致,可以通过执行wordcount程序是否成功来判断。 如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户Jar包中的Flink和Hadoop依赖,依靠环境中的Jar包。
-
CarbonData调优思路 - MapReduce服务 MRS
数据加载性能调优 数据加载性能调优与查询性能调优差异很大。跟查询性能一样,数据加载性能也取决于可达到的并行性。在数据加载情况下,工作线程的数量决定并行的单元。因此,更多的执行器就意味着更多的执行器核数,每个执行器都可以提高数据加载性能。 同时,为了得到更好的性能,可在HDFS中配置如下参数。
-
ClickHouse客户端使用实践 - MapReduce服务 MRS
支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse依靠ReplicatedMergeTree引擎与ZooKeeper实现了复制表机制,用户在创建表时可以通过指定引擎选择该表是否高可用,每张表的分片与副本都是互相独立的。
-
使用Hue WebUI访问HDFS文件失败 - MapReduce服务 MRS
WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。 父主题: Hue常见问题
-
查看并导出检查报告 - MapReduce服务 MRS
系统健康检查的范围包含Manager、服务级别和主机级别的健康检查: Manager关注集群统一管理平台是否提供管理功能。 服务级别关注组件是否能够提供正常的服务。 主机级别关注主机的一系列指标是否正常。 系统健康检查可以包含三方面检查项:各检查对象的“健康状态”、相关的告警和自定义的监控指
-
MRS 3.1.5版本补丁说明 - MapReduce服务 MRS
支持EVS磁盘分区容量扩容 MRS 3.1.5.0.3 及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容,达到自动扩充磁盘分区存储容量的能力。 安装完成后必须的手动操作
-
ALM-12054 证书文件失效 - MapReduce服务 MRS
expired”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,依次执行2~4,检查对应证书是否过期。如果都未过期,则请排查是否导入过其他类型证书,并重新导入证书文件。 检查系统中合法证书文件的有效期。 查看当前系统时间是否在CA证书的有效期内。 执行命令bash ${CONTROLLER_HOM
-
优化Flink内存GC参数 - MapReduce服务 MRS
Flink是依赖内存计算,计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC(Garbage Collection),评估内存使用及剩余情况来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:
-
ALM-14020 HDFS目录条目数量超过阈值 - MapReduce服务 MRS
执行如下命令,检查发出告警的目录下的文件或目录是否是可以删除的无用文件。 hdfs dfs -ls 产生告警的目录路径 是,执行3。 否,执行5。 执行如下命令。删除无用的文件。 hdfs dfs -rm -r -f 文件或目录路径 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 等待1个小时,检查该告警是否清除。
-
MRS集群节点如何进行操作系统漏洞升级 - MapReduce服务 MRS
EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤 修复漏洞前请确认是否开启了主机安全服务(Host Security Servic
-
查看并导出检查报告 - MapReduce服务 MRS
系统健康检查的范围包含Manager、服务级别和主机级别的健康检查: Manager关注集群统一管理平台是否提供管理功能。 服务级别关注组件是否能够提供正常的服务。 主机级别关注主机的一系列指标是否正常。 系统健康检查可以包含三方面检查项:各检查对象的“健康状态”、相关的告警和自定义的监控指
-
ALM-12063 磁盘不可用 - MapReduce服务 MRS
告警解释 系统每一个小时,整点检查一次当前主机的磁盘是否可用,只检查数据盘,在磁盘对应的挂载目录下执行创建文件,写文件和删文件等操作,如果能够成功则认为磁盘可用,发送恢复告警,如果不能成功,则发送故障告警。 告警属性 告警ID 告警级别 是否自动清除 12063 重要 是 告警参数 参数名称
-
ALM-12055 证书文件即将过期(2.x及以前版本) - MapReduce服务 MRS
请联系运维人员申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行8。 否,处理完毕。 导入新的HA证书文件。 请参考更换HA证书章节,申请或生成新的HA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行8。 否,处理完毕。 收集故障信息。
-
管理Loader连接(MRS 3.x之前版本) - MapReduce服务 MRS
如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。另外VPC相关设置,也可能影响网络连通性。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“管理连接”。 如果集群启用了Kerberos认证,则默认显示所有当前用户创建的连接,不支持显示其他用户创建的连接。
-
ALM-12012 NTP服务异常 - MapReduce服务 MRS
-v grep,检查命令是否输出chronyd进程的信息。 是,执行6。 否,执行4。 启动NTP服务。 10分钟后,检查该告警是否恢复。 是,处理完毕。 否,执行6。 检查该节点与主OMS节点chrony服务是否正常同步时间。 查看NTP告警的“附加信息”是否描述“与主OMS节点NTP服务无法同步时间”。
-
ALM-14032 JournalNode进程状态异常 - MapReduce服务 MRS
主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态和Z状态。或进程可能被挂起进入T状态。 处理步骤 查看进程是否处于D、Z、T状态 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。
-
ALM-50223 BE所需最大内存大于机器剩余可用内存 - MapReduce服务 MRS
等待两分钟,查看告警是否清除。 是,处理完毕。 否,执行5。 使用omm用户登录产生告警的BE所在节点,执行"top"查看进程使用内存情况,找到占用较高的内存的进程,检查是否是本服务应存在的进程,是否合理。 是,执行6。 否,对此进程进行隔离、关闭或调整内存大小处理,观察机器内存是否被释放出。