华为云首页用户手册

MAPREDUCE服务 MRS-运行Spark Streaming任务参数调优的注意事项:回答

MAPREDUCE服务 MRS-运行Spark Streaming任务参数调优的注意事项:回答

时间：2024-11-28 01:44:30

MAPREDUCE服务 MRS

回答

在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。

Spark任务处理速度和Kafka上partition个数有关，当partition个数小于给定executor个数时，实际使用的executor个数和partition个数相同，其余的将会被空闲。所以应该使得executor个数小于或者等于partition个数。
当Kafka上不同partition数据有倾斜时，数据较多的partition对应的executor将成为数据处理的瓶颈，所以在执行Producer程序时，数据平均发送到每个partition可以提升处理的速度。
在partition数据均匀分布的情况下，同时提高partition和executor个数，将会提升Spark处理速度（当partition个数和executor个数保持一致时，处理速度是最快的）。
在partition数据均匀分布的情况下，尽量保持partition个数是executor个数的整数倍，这样将会使资源得到合理利用。

上一篇：MAPREDUCE服务 MRS-为什么提交Spark Streaming应用超过token有效期，应用失败:回答

下一篇：MAPREDUCE服务 MRS-Spark Streaming任务一直阻塞:问题

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-运行Spark Streaming任务参数调优的注意事项:回答

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题