MAPREDUCE服务 MRS-Flink常用配置参数:HA

时间:2024-11-06 14:23:05

HA

表10 HA参数说明

参数

描述

默认值

是否必选

high-availability

HA模式,是启用HA还是非HA模式。当前支持两种模式:

  • none,只运行单个jobManager,jobManager的状态不进行Checkpoint。
  • ZooKeeper。
    • 非YARN模式下,支持多个jobManager,通过选举产生leader。
    • YARN模式下只存在一个jobManager。

zookeeper

high-availability.zookeeper.quorum

ZooKeeper quorum地址。

自动配置

high-availability.zookeeper.path.root

Flink在ZooKeeper上创建的根目录,存放HA模式必须的元数据。

/flink

high-availability.storageDir

存放state backend中JobManager元数据,ZooKeeper只保存实际数据的指针。

hdfs:///flink/recovery

high-availability.zookeeper.client.session-timeout

ZooKeeper客户端会话超时时间。单位:ms。

60000

high-availability.zookeeper.client.connection-timeout

ZooKeeper客户端连接超时时间。单位:ms。

15000

high-availability.zookeeper.client.retry-wait

ZooKeeper客户端重试等待时间。单位:ms。

5000

high-availability.zookeeper.client.max-retry-attempts

ZooKeeper客户端最大重试次数。

3

high-availability.job.delay

当jobManager恢复后重启job的延迟时间。

默认值和akka.ask.timeout配置值保持一致

high-availability.zookeeper.client.acl

设置ZooKeeper节点的ACL (open creator),按照集群的安全模式自动配置。

  • 安全模式:creator
  • 非安全模式:open

zookeeper.sasl.disable

基于SASL认证的使能开关,按照集群的安全模式自动配置:。

  • 安全模式:false
  • 非安全模式:true

zookeeper.sasl.service-name

  • 如果ZooKeeper服务端配置了不同于“ZooKeeper”的服务名,可以设置此配置项。
  • 如果客户端和服务端的服务名不一致,认证会失败。

zookeeper

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0592.html