MAPREDUCE服务 MRS-Flink性能调优规则:合理设置并行度
合理设置并行度
任务运行的速度和并行度相关,一般来说提升并行度能有效提升读取的速度,但是过大的并行度可能导致部分节点资源的浪费,过小的并行度可能导致部分节点运行缓慢。对于SQL当前不能手动指定每个Task的并行度,指定的是所有Task统一的并行度。
推荐Source的并行度由上游组件推断设置,对于流系统,与上游的分区数相同(例如Kafka的Topic分区数);对于批系统,与上游的切片数相同(例如HDFS的block数量)。
Flink作业中有Source、Sink、中间计算算子的并行度可以调整。通过分析作业流图,如果发现是中间计算Busy就需要通过调整整个作业并行度来调整这类算子的并行度,常见的如join算子。
- 文档数据库服务DDS性能调优_MongoDB性能调优_华为云
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 代码检查_代码检查如何设置规则集_代码检查CodeArts Check-华为云
- 什么是主机监控_免费云监控_专业监控
- GaussDB计算性能_gaussdb递归_高斯数据库计算性能_华为云
- GaussDB性能怎么调_华为gaussdb_gaussdb性能_gaussdb学习
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- GaussDB性能_Gaussdb数据库性能_高斯数据库性能-华为云
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine