检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eNode主备倒换。单NameNode情况下,客户端将无法读取或写入任何数据到 HDFS,当前MRS部署HDFS时要求NameNode部署双机模式,不存在单实例场景。 Router:如果一个Router实例故障,客户端将无法访问该Router上的数据。但客户端可以使用其他Rout
ClickHouse集群业务规划 集群规模 建议单集群不超过256节点规模。 集群负载 对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源,对于复杂SQL查询(复杂
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下: 推荐使用ELB连接Doris,避免当连接的FE故障时,无法对外提供服务。 当Doris单实例或硬件故障时,新提交的任务能运行成功,但不能确保故障时正在运行的任务能执行成功。因此,需要用户连接Doris
解决管理面1条慢查询在界面上报2条同样的查询信息的问题。 解决ALM-12054 证书文件失效告警误报的问题。 ClickHouse的nginx参数优化,将client_body_buffer_size从10K修改为1024K。 解决重启ClickHouse,ALM-45428告警误上报的问题。
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题: 使用ClickHouse
配置Doris高可用功能 Doris集群高可用方案概述 配置通过ELB访问Doris集群 父主题: Doris企业级能力增强
查看ClickHouse慢查询语句 查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 配置ClickHouse冷热分离 配置ClickHouse对接开源ClickHouse 配置ClickHouse元数据预先缓存到内存
影响系统整体运行;而以集中模式运作的管理节点可能出现的单点故障,就成为整个系统可靠性的短板。 MRS对所有业务组件的管理节点都提供了类似的双机的机制,包括Manager、Presto、HDFS NameNode、Hive Server、HBase HMaster、YARN Resources
true:存在仲裁部署。 false:不存在仲裁部署。 默认取值: 不涉及 support_elb Boolean 参数解释: 支持ELB。 约束限制: 不涉及 取值范围: true:支持ELB。 false:不支持ELB。 默认取值: 不涉及 multi_affinity_group_enable
配置ClickHouse表为只读表模式 本章节仅适用于MRS 3.2.0及之后版本。 操作场景 在数据迁移、一键均衡和退服缩容时,ClickHouse支持only_allow_select_statement表级参数,可以对mergetree系列表引擎配置only_allow_s
Source&Channel、Channel&Sink之间的事务机制。 Sink Processor支持配置failover、load_blance机制,例如负载均衡示例如下。 server.sinkgroups=g1 server.sinkgroups.g1.sinks=k1 k2 server.sinkgroups
ALM-38012 Broker的分区数量超过阈值 告警解释 系统每30秒周期性检测Kafka服务每个Broker实例的分区数量。该指标可以在Broker实例监控中查看Partition数目,当检测到某个Broker上的分区数量超过阈值时产生告警。用户可在Manager上选择“运维
MRS集群Task节点弹性伸缩概述 在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化,用户可以按照固定时间段来自动调
ALM-45436 ClickHouse表数据倾斜 告警解释 ClickHouse各节点之间,分布式表对应的本地表中,若存在数据倾斜,系统产生此告警。当检测到数据均衡时,告警自动清除。 数据倾斜检测方法: 当参数“min_table_check_data_bytes”值为“0”时,不启用数据倾斜检查。
配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载,并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组,并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前,将检查当前资源组的资源负载是否超过实例分配给它的
Group的情况下,一个SubTask是部署在一个slot上的。即使开启了Slot Sharing Group,大部分情况下Slot中拥有的SubTask也是负载均衡的。所以可以理解为TM上的Slot个数代表了上面运行的任务线程数。 合理的Slots数量应该和CPU核数相同,在使用超线程时,每个Slot将占用2个或更多的硬件线程。
如何提高Presto资源使用率? 问题现象 节点资源利用不均衡,执行Presto任务几小时后仍未完成。 解决步骤 调小Yarn节点内存比例: 登录Manager页面,选择“集群 > 服务 > Presto > 实例”,查看并记录所有Presto实例所在节点主机名称。 选择“集群 >
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。
集群内ClickHouseServer节点间数据迁移 ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中,可以使用该工具将