检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何为ClickHouse用户赋予数据库级别的Select权限 操作步骤 登录到MRS集群装有ClickHouse客户端的节点,执行如下命令: su - omm source {客户端安装目录}/bigdata_env kinit 组件用户(普通集群无需执行kinit命令) clickhouse
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Impala用户自定义函数。
如何避免对历史数据进行minor compaction? 问题 如何避免对历史数据进行minor compaction? 回答 如果要先加载历史数据,后加载增量数据,则以下步骤可避免对历史数据进行minor compaction: 加载所有历史数据。 将major compact
Web页面访问类 无法访问MRS集群Manager页面如何处理? 登录集群Manager常见异常问题 访问MRS组件Web UI界面常见异常问题
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见Impala样例程序指导。
Kafka应用开发常见问题 Kafka接口介绍 运行Producer.java样例运行获取元数据失败如何处理 父主题: Kafka开发指南
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能
际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
当ClickHouse写入分布式表节点发送数据文件到远端分片节点失败时,会导致执行分布式表查询等操作结果异常。 可能原因 ClickHouse某些分片节点状态异常。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。
-r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2.a。 对系统进行扩容。 对磁盘进行扩容。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 >
确定”进行重启。 观察告警是否清除。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 当前FE处理能力不足,影响业务的查询速度。 可能原因 Doris集群并发业务过大,FE进程内存不足等导致Master FE的处理能力不足。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维
可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置
可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 等待5分钟后,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置
查看告警界面的相关告警,参照对应告警帮助进行处理。 输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行3.a。 检查Spark服务是否异常。 在服务列表查看Spark服务是否正常。 是,执行4.a。 否,执行3.b。 查看告警界面的相关告警,参照对应告警帮助进行处理。 输入正确的HiveQL语句,观察命令是否正确执行。
JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问Sp
SDB的交互主要通过运行一个或多个TSD来实现。每个TSD都是独立的。没有主服务器,没有共享状态,因此您可以根据需要运行任意数量的TSD来处理您向其投入的任何负载。每个TSD使用CloudTable集群中的HBase来存储和检索时间序列数据。数据模式经过高度优化,可快速聚合相似的
实例”,重启该DataNode实例。 检查该告警是否恢复。 是,处理完毕。 否,执行7。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
GC时间超出阈值的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 检查HDFS RPC响应时间。 在FusionInsight Manager的告警列表中,查看HBase服务依赖的HDFS服务是否有“NameNode RPC处理平均时间超过阈值”告警产生。