检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 磁盘容量不足会导致Kafka写入数据失败。 可能原因 用于存储Kafka数据的磁盘配置(如磁盘数目、磁盘大小等),无法满足当前业务数据流量,导致磁盘使用率达到上限。 数据保存时间配置过长,数据累积达到磁盘使用率上限。 业务规划不合理,导致数据分配不均,使部分磁盘达到使用率上限。
端感知集群节点变化,易用性不佳。 针对上述风险,MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台ClickHouse后端节点发生故障时,ELB通过故障转移方式正常对外提供服务。
端感知集群节点变化,易用性不佳。 针对上述风险,MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台ClickHouse后端节点发生故障时,ELB通过故障转移方式正常对外提供服务。
若主集群的客户端安装在集群外的节点上,也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。 主备集群间的网络带宽需要根据业务流量而定,不应少于最大的可能业务流量。 主备集群安装的MRS版本需要保持一致。 备集群规模不小于主集群规模。 使用约束 尽管容灾提供了实时的数据复制功能,但实
Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并,需要消耗较高的内存资源,按照之前的表设计规范以及实际流量的波动结合考虑,建议Compaction作业CPU与内存的比例按照1:4~1:8配置,保证Compaction作业稳定运行。当Compac
对系统的影响 磁盘容量不足会导致Kafka写入数据失败。 可能原因 用于存储Kafka数据的磁盘配置(如磁盘数目、磁盘大小等),无法满足当前业务数据流量,导致磁盘使用率达到上限。 数据保存时间配置过长,数据累积达到磁盘使用率上限。 业务规划不合理,导致数据分配不均,使部分磁盘达到使用率上限。
组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-configs.sh”进行Kafka流量控制,常用命令如下。 命令中使用到的部分参数值获取方式如下,具体以实际获取信息为准。 ZooKeeper的任意一个节点的业务IP:登录FusionInsight
执行Balance操作时会占用DataNode的网络带宽资源,请根据业务需求在维护期间执行任务。 默认使用带宽控制为20MB/s,如果重新设置带宽流量或加大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装
执行Balance操作时会占用DataNode的网络带宽资源,请根据业务需求在维护期间执行任务。 默认使用带宽控制为20MB/s,如果重新设置带宽流量或加大数据量,Balance操作可能会对正在运行的业务产生影响。 前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装
如果主集群的客户端安装在集群外的节点上,也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。 主备集群间的网络带宽需要根据业务流量而定,不应少于最大的可能业务流量。 主备集群安装的MRS版本需要保持一致。 备集群规模不小于主集群规模。 使用约束 尽管容灾提供了实时的数据复制功能,但实
network.memory.buffers-per-channel 每个传出/传入通道(子分区/输入通道)使用的最大网络缓冲区数。在基于信用的流量控制模式下,这表示每个输入通道中有多少信用。它应配置至少2以获得良好的性能。1个缓冲区用于接收子分区中的飞行中数据,1个缓冲区用于并行序列化。
network.memory.buffers-per-channel 每个传出/传入通道(子分区/输入通道)使用的最大网络缓冲区数.在基于信用的流量控制模式下,这表示每个输入通道中有多少信用。它应配置至少2以获得良好的性能。1个缓冲区用于接收子分区中的飞行中数据,1个缓冲区用于并行序列化。
甚至请求失败。 HBase服务增加了MetricController实例,开启热点检测能力,能够监控每个RegionServer节点的请求流量,通过聚合分析,识别出请求偏高的节点和Region,有助于快速发现热点问题;并提供一定的热点问题自愈能力,比如热点Region自动转移或S