华为云首页用户手册

MapReduce服务 MRS-运行Spark Streaming任务参数调优的注意事项:回答

MapReduce服务 MRS-运行Spark Streaming任务参数调优的注意事项:回答

时间：2023-11-01 16:25:29

MapReduce服务 MRS

回答

在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。

Spark任务处理速度和Kafka上partition个数有关，当partition个数小于给定executor个数时，实际使用的executor个数和partition个数相同，其余的将会被空闲。所以应该使得executor个数小于或者等于partition个数。
当Kafka上不同partition数据有倾斜时，数据较多的partition对应的executor将成为数据处理的瓶颈，所以在执行Producer程序时，数据平均发送到每个partition可以提升处理的速度。
在partition数据均匀分布的情况下，同时提高partition和executor个数，将会提升Spark处理速度（当partition个数和executor个数保持一致时，处理速度是最快的）。
在partition数据均匀分布的情况下，尽量保持partition个数是executor个数的整数倍，这样将会使资源得到合理利用。

上一篇：MapReduce服务 MRS-SHOW SECONDARY INDEXES:示例

下一篇：MapReduce服务 MRS-SHOW SECONDARY INDEXES:示例

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MapReduce服务 MRS-运行Spark Streaming任务参数调优的注意事项:回答

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题