检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数
Flink on Hudi作业参数建议 Hudi表作为Source表时建议设置限流 Hudi表作为Source表，防止上限超过流量峰值，导致作业出现异常带来不稳定因素，因此建议设置限流，限流上限应该为业务上线压测的峰值。 使用时需添加如下参数： 'read.rate.limit'
2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。 MRS 3.2.0及以后版本，根据安全需求，FlinkSer
0及以后版本。 防止上限超过流量峰值，导致作业异常带来不稳定因素。因此建议设置限流，限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second.limit' = '1000' #真实的限流流量如下 min( parallelism
ClickHouse集群：ClickHouse集群是一个用于联机分析的列式数据库管理系统，具有压缩率和极速查询性能。广泛用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 实时分析集群：实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量
HBase服务安装MetricController实例时，热点自愈功能自动开启，告警模块按120秒周期检测HBase是否存在因为热点问题被限制请求流量的Region。当检测到HBase存在热点限流Region时，上报该告警。 当热点Region请求不再过热，将解除限流，告警清除。 该告警仅适用于MRS
当FE故障时，无法对外提供服务。因此，MRS服务提供了基于弹性负载均衡ELB的部署架构如图1所示。 基于ELB的部署架构，可以将用户访问流量自动均匀分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。当其中一台Doris后端节点发生故障时，ELB通过故障转移方式正常对外提供服务。
要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。 数据在平台内各个组件间的流向，比如使
Hive使用beeline -e执行多条语句报错如何处理？ MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错： Error while compiling statement: FAILED: ParseException
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
运行Flink作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
运行MapReduce作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个MapReduce作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台
T2…Tn），并且其中第m个Topic的每秒输入数据总流量为X(Tm) MB/s，配置的副本数为R(Tm)，配置数据保存时间为Y(Tm)小时，那么整体必须满足： 假设单个磁盘大小为M，该磁盘上有n个Partition（P0,P1……Pn），并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s
T2…Tn），并且其中第m个Topic的每秒输入数据总流量为X(Tm) MB/s，配置的副本数为R(Tm)，配置数据保存时间为Y(Tm)小时，那么整体必须满足： 假设单个磁盘大小为M，该磁盘上有n个Partition（P0,P1……Pn），并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s
等待5分钟，查看当前告警是否清除。 是，操作结束。 否，执行6。 检查是否Topic流量激增。 在KafkaUI的页面，单击“Topics”，查看上报告警的Topic是否存在流量激增，即短时间内是否生产大量消息。 是，执行7。 如果为Topic流量激增导致，则待下游消费Topic中消息后，告警会自动消除。
检查Topic的Partition规划设置。 在“KafkaTopic监控”页面单击每一个Topic的“Topic的字节流量 > Topic输入的字节流量”，统计出“Topic输入的字节流量”值最大的Topic。查看该Topic有哪些Partition以及这些Partition所在的主机信息。 登录到5查询到的主机，执行iostat
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
检查Topic的Partition规划设置。 在“KafkaTopic监控”页面单击每一个Topic的“Topic的字节流量 > Topic输入的字节流量”，统计出“Topic输入的字节流量”值最大的Topic。查看该Topic有哪些Partition以及这些Partition所在的主机信息。 登录到5查询到的主机，执行iostat
> 图表”，观察图表“Compaction操作队列大小-所有实例”的值是否一直在增大，且图表“RegionServer Compaction流量-所有实例”有部分RegionServer的值已达到或超过“hbase.hstore.compaction.throughput.offpeak”配置项的值。
MRS服务提供了基于ELB的HA部署架构，可以将用户访问流量自动分发到多台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。如图3所示，客户端应用请求集群时，使用ELB（Elastic Load Balance）来进行流量分发，通过ELB的轮询机制，写不同节点上的本地表（Local
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
