MAPREDUCE服务 MRS-Flink常见参数说明

时间:2024-05-28 14:22:57

Flink常见参数说明

表1 Flink常见参数说明

参数名称

参数描述

建议值

说明

-c

指定主类名。

根据实际填写

必填

-yjm

JobManager进程内存,默认值:2GB。

根据实际填写

选填

-ytm

TaskManager进程内存,默认值:4GB。

根据实际填写

选填

-ynm

Flink Yarn作业名称。

根据实际填写

必填

-ys

TaskManager中slot个数。

2

选填

execution.checkpointing.interval

checkpoint触发间隔(毫秒),通过-yD添加,单位毫秒。

60000

必填

execution.checkpointing.timeout

checkpoint超时时长,通过-yD添加,默认值:30min。

30min

必填

execution.checkpointing.tolerable-failed-checkpoints

checkpoint失败容忍次数总和,通过-yD添加。

1000

选填

state.checkpoints.num-retained

checkpoint保留个数,通过-yD添加。

5

选填

state.backend

状态后端使用rocksdb,通过-yD添加。

rocksdb

默认开启

state.backend.incremental

开启rocksdb增量状态后端,通过-yD添加。

TRUE

必填

state.backend.rocksdb.block.blocksize

写状态后端的数据块大小,通过-yD添加。

512KB

必填

state.backend.rocksdb.block.cache-size

整个状态后端的block cache大小,通过-yD添加。

1024MB

必填

taskmanager.memory.jvm-overhead.max

用于JVM其他开销的本地内存的最大值,例如栈空间、垃圾回收空间等,通过-yD添加。

10g

选填

taskmanager.memory.jvm-overhead.fraction

用于JVM其他开销的本地内存占tm内存的比例,例如栈空间、垃圾回收空间等,通过-yD添加。

0.2

选填

parallelism.default

作业并行度,例如join算子,通过-yD添加,默认值:1。

根据实际填写

选填

table.exec.state.ttl

Flink状态TTL(join ttl),通过-yD添加,默认值:0。

根据实际填写

必填

heartbeat.timeout

jm与tm之间心跳超时时间,通过-yD添加。

1800000

必填

akka.ask.timeout

akka通信超时时间,通过-yD添加。

240s

必填

taskmanager.memory.segment-size

内存管理和网络栈使用的内存缓冲块字节数大小,默认值: 32768 (32KB),通过-yD添加。

64kb

选填

taskmanager.network.memory.max-buffers-per-channel

每个channel最大能持有多少buffers,如果segment有很多空闲,可以适当调大该值,否则channel会因为拿不到segment而blocking,通过-yD添加。

100

选填

taskmanager.network.memory.buffers-per-channel

每个channel独享的buffer数,通过-yD添加。

10

选填

taskmanager.network.memory.floating-buffers-per-gate

每个channel浮动buffer数,通过-yD添加。

2000

选填

taskmanager.network.netty.server.numThreads

每个taskmanager中netty服务端线程数,通过-yD添加。

20

选填

taskmanager.network.netty.client.numThreads

每个taskmanager中netty客户端线程数,通过-yD添加。

20

选填

state.backend.rocksdb.files.open

最大打开文件数目,-1意味着没有限制,通过-yD添加。

-1

选填

state.backend.rocksdb.compaction.level.use-dynamic-size

参数允许Rocksdb对每层数据存储的数据量阈值进行动态调整,通过-yD添加。

TRUE

选填

state.backend.rocksdb.levels.num

Rocksdb允许存储compaction数据层数,通过-yD添加。

10

选填

state.backend.rocksdb.compaction.style

compaction算法,通过-yD添加。

FIFO

选填

state.backend.rocksdb.verify.checksum

关闭数据读取时数据check,通过-yD添加。

FALSE

选填

state.backend.rocksdb.thread.num

后台负责flush和compaction的最大并发线程数,通过-yD添加。

4

选填

state.backend.rocksdb.writebuffer.count

memtable的最大数量,通过-yD添加。

5

选填

state.backend.rocksdb.writebuffer.number-to-merge

在flush发生之前被合并的memtable最小数量,通过-yD添加。

3

选填

state.backend.rocksdb.background.compaction.max

负责compaction最大线程数,通过-yD添加。

10

选填

state.backend.rocksdb.flush.max

rocksdb flush线程数,通过-yD添加。

1

选填

support.huaweicloud.com/devg-rule-mrs/mrs_07_450174.html