云服务器内容精选

华为云首页用户手册

Flink应用开发规范

MAPREDUCE服务 MRS-Flink常见参数说明

Flink常见参数说明表1 Flink常见参数说明参数名称参数描述建议值说明 -c 指定主类名。根据实际填写必填 -yjm JobManager进程内存，默认值：2GB。根据实际填写选填 -ytm TaskManager进程内存，默认值：4GB。根据实际填写选填 -ynm Flink Yarn作业名称。根据实际填写必填 -ys TaskManager中slot个数。 2 选填 execution.checkpointing.interval checkpoint触发间隔（毫秒），通过-yD添加，单位毫秒。 60000 必填 execution.checkpointing.timeout checkpoint超时时长，通过-yD添加，默认值：30min。 30min 必填 execution.checkpointing.tolerable-failed-checkpoints checkpoint失败容忍次数总和，通过-yD添加。 1000 选填 state.checkpoints.num-retained checkpoint保留个数，通过-yD添加。 5 选填 state.backend 状态后端使用rocksdb，通过-yD添加。 rocksdb 默认开启 state.backend.incremental 开启rocksdb增量状态后端，通过-yD添加。 TRUE 必填 state.backend.rocksdb.block.blocksize 写状态后端的数据块大小，通过-yD添加。 512KB 必填 state.backend.rocksdb.block.cache-size 整个状态后端的block cache大小，通过-yD添加。 1024MB 必填 taskmanager.memory.jvm-overhead.max 用于JVM其他开销的本地内存的最大值，例如栈空间、垃圾回收空间等，通过-yD添加。 10g 选填 taskmanager.memory.jvm-overhead.fraction 用于JVM其他开销的本地内存占tm内存的比例，例如栈空间、垃圾回收空间等，通过-yD添加。 0.2 选填 parallelism.default 作业并行度，例如join算子，通过-yD添加，默认值：1。根据实际填写选填 table.exec.state.ttl Flink状态TTL（join ttl），通过-yD添加，默认值：0。根据实际填写必填 heartbeat.timeout jm与tm之间心跳超时时间，通过-yD添加。 1800000 必填 akka.ask.timeout akka通信超时时间，通过-yD添加。 240s 必填 taskmanager.memory.segment-size 内存管理和网络栈使用的内存缓冲块字节数大小，默认值: 32768 (32KB)，通过-yD添加。 64kb 选填 taskmanager.network.memory.max-buffers-per-channel 每个channel最大能持有多少buffers，如果segment有很多空闲，可以适当调大该值，否则channel会因为拿不到segment而blocking，通过-yD添加。 100 选填 taskmanager.network.memory.buffers-per-channel 每个channel独享的buffer数，通过-yD添加。 10 选填 taskmanager.network.memory.floating-buffers-per-gate 每个channel浮动buffer数，通过-yD添加。 2000 选填 taskmanager.network.netty.server.numThreads 每个taskmanager中netty服务端线程数，通过-yD添加。 20 选填 taskmanager.network.netty.client.numThreads 每个taskmanager中netty客户端线程数，通过-yD添加。 20 选填 state.backend.rocksdb.files.open 最大打开文件数目，-1意味着没有限制，通过-yD添加。 -1 选填 state.backend.rocksdb.compaction.level.use-dynamic-size 参数允许Rocksdb对每层数据存储的数据量阈值进行动态调整，通过-yD添加。 TRUE 选填 state.backend.rocksdb.levels.num Rocksdb允许存储compaction数据层数，通过-yD添加。 10 选填 state.backend.rocksdb.compaction.style compaction算法，通过-yD添加。 FIFO 选填 state.backend.rocksdb.verify.checksum 关闭数据读取时数据check，通过-yD添加。 FALSE 选填 state.backend.rocksdb.thread.num 后台负责flush和compaction的最大并发线程数，通过-yD添加。 4 选填 state.backend.rocksdb.writebuffer.count memtable的最大数量，通过-yD添加。 5 选填 state.backend.rocksdb.writebuffer.number-to-merge 在flush发生之前被合并的memtable最小数量，通过-yD添加。 3 选填 state.backend.rocksdb.background.compaction.max 负责compaction最大线程数，通过-yD添加。 10 选填 state.backend.rocksdb.flush.max rocksdb flush线程数，通过-yD添加。 1 选填父主题： Flink应用开发规范

MAPREDUCE服务 MRS Flink应用开发规范