检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在主机详情页面,主要包含基本信息区、磁盘状态区、实例列表区和监控图表等。 表4 主机详情 展示项 说明 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息,例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区,并显示每个磁盘分区的使用情况。
调整Ranger用户类型 登录Ranger管理页面。 调整Ranger用户类型须使用Admin类型的用户(例如admin)进行操作,具体用户类型请参考Ranger用户类型。 选择“Settings > Users/Groups/Roles”,在“Users”用户列表中,单击待修改类型的用户名。
是,处理完毕。 否,执行8。 检查转储目录的磁盘空间是否足够。 根据转储配置页面中当前的转储目录,以root用户登录到第三方服务器,使用df命令检查第三方服务器的转储目录的磁盘空间是否大于100MB。 是,执行11。 否,执行9。 扩大第三方服务器的磁盘空间,然后重新配置SFTP服务端密码,单击“确定”,重新下发一次配置。
调整Ranger用户类型 登录Ranger管理页面。 调整Ranger用户类型须使用Admin类型的用户(例如admin)进行操作,具体用户类型请参考Ranger用户类型。 选择“Settings > Users/Groups/Roles”,在“Users”用户列表中,单击待修改类型的用户名。
当hudi表存在timestamp类型字段时,需指定此参数为true,以实现同步timestamp类型到hive元数据中。该值默认为false,默认将timestamp类型同步为bigInt,默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。 true
cache_reserved_space决定磁盘预留空间,默认值为512MB,建议设置为磁盘容量的10%以上。比如3TB的磁盘,cache_reserved_space设置为300GB,cache_cap_max_available_rate设置为30%,如果磁盘空间小于300GB,尽管Mem
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性 告警ID 告警级别 可自动清除 12001
对系统的影响 单副本的数据在节点故障时容易丢失,单副本的文件过多会对HDFS文件系统的安全性造成影响。 可能原因 DataNode节点故障。 磁盘故障。 单副本写入文件。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003
run(DataXceiverServer.java:140) at java.lang.Thread.run(Thread.java:745) DataNode的磁盘空间不足。 DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用,通过在Manager页面,增加HDFS参数“dfs
RPC队列平均时间。 200ms 磁盘 HDFS磁盘空间使用率 HDFS磁盘空间使用率。 80% DataNode磁盘空间使用率 HDFS文件系统中DataNode可以使用的磁盘空间率。 80% 总副本预留磁盘空间所占比率 总副本预留磁盘空间占DataNode总未使用磁盘空间的百分比。 90%
样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行时计算的随机值之间的比较)。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。如果进一步处理采样输出,则可能会影响总查询时间。 SELECT * FROM users TABLESAMPLE BERNOULLI
MRS集群类型介绍 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
ExternalSort 外部排序功能,当执行排序时如果内存不足会将一部分数据溢出到磁盘中。 TungstenAggregate 新Hash聚合功能,默认对数据调用外部排序进行排序,然后再进行聚合,因此内存不足时在排序阶段会将数据溢出到磁盘,在聚合阶段因数据有序,在内存中只保留当前key的聚合结果,使用的内存较小。
ExternalSort 外部排序功能,当执行排序时如果内存不足会将一部分数据溢出到磁盘中。 TungstenAggregate 新Hash聚合功能,默认对数据调用外部排序进行排序,然后再进行聚合,因此内存不足时在排序阶段会将数据溢出到磁盘,在聚合阶段因数据有序,在内存中只保留当前key的聚合结果,使用的内存较小。
开启HetuEngine数据类型隐式转换 数据类型隐式转换指用户通过客户端访问HetuEngine资源时,当查询的数据类型和表的数据类型不匹配时,HetuEngine能自动进行数据类型转换,避免用户在使用时因强数据类型校验带来的不便。当前在插入数据(Insert)、条件判断(Wh
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。
查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。 否,执行8。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行8。 检查是否Broker磁盘IO繁忙。 查看5中上报告警
查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。 否,执行8。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行8。 检查是否Broker磁盘IO繁忙。 查看5中上报告警
查看5上报告警的节点是否存在“慢盘故障”或“磁盘不可用”告警。 是,参考“ALM-12033 慢盘故障”或“ALM-12063 磁盘不可用”告警处理步骤进行处理。 否,执行8。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行8。 检查是否Broker磁盘IO繁忙。 查看5中上报告警
S的数据读写性能。 可能原因 HDFS DataNode实例磁盘IO速率低、HDFS DataNode自身处理能力到达瓶颈。 HDFS各DataNode实例之间网络传输速率低。 处理步骤 检查是否DataNode实例磁盘IO速率低。 登录FusionInsight Manager界面,选择“运维