检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。
对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。
若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。
Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。
可能原因 如果filter使用更高精度的double数据类型的数值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使小数部分不同,系统仍然会认为double数据类型的值是相同的。 定位思路 无。
配置HDFS单目录文件数量 操作场景 通常一个集群上部署了多个服务,且大部分服务的存储都依赖于HDFS文件系统。当集群运行时,不同组件(例如Spark、Yarn)或客户端可能会向同一个HDFS目录不断写入文件。
对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。
ALM-50212 FE进程的老年代GC耗时累计值超过阈值 告警解释 系统每30秒周期性检查FE进程的老年代GC耗时累计值,当检查到该值超出阈值(默认值为3000ms)时产生该告警。 当系统检查到FE进程的老年代GC耗时累计值低于阈值时,告警清除。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 占用系统资源,业务进程响应变慢。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长时间内未得到响应,进程处于D状态。 处理步骤 查看D状态进程。
既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度从而)导致写入命令阻塞。 应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。
图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。
可能原因 如果filter使用更高精度的double数据类型的数值,系统将会对该值四舍五入进行比较,因此在这种情况下,即使小数部分不同,系统仍然会认为double数据类型的值是相同的。 定位思路 无。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
对系统的影响 依赖LdapServer的组件运行状态变为故障,可能引起集群Kerberos认证失败或操作系统用户缓存同步异常,进而导致组件业务运行异常。 可能原因 LdapServer服务所在节点故障。 LdapServer进程故障。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 SlapdServer实例连接数过高,可能导致SlapdServer响应缓慢或不可用,引起Kerberos认证超时或操作系统用户缓存同步异常,进而导致组件业务故障。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Doris元数据所占磁盘空间越来越大,最终可能导致服务异常。 可能原因 Doris服务异常。
当系统检查到BE的各种定期汇报任务在FE端的队列长度低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50211 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf FusionInsight_Cluster