MAPREDUCE服务 MRS-创建FlinkServer作业写入数据至Kafka消息队列:WITH主要参数说明

时间:2024-11-28 01:44:37

WITH主要参数说明

配置项

是否必选

类型

描述

connector

必选

String

指定要使用的连接器,Kafka使用“kafka”

topic

  • kafka作为sink,必选
  • kafka作为source,可选

String

主题名称

  • 当表用作source时,要从中读取数据的主题名称。支持主题列表,通过按分号分隔主题,如“主题-1;主题-2”
  • 当表用作sink时,主题名称为写入数据的主题。sink不支持主题列表

topic-pattern

kafka作为source时可选

String

主题模式

当表用作source时可设置该参数,主题名称需使用正则表达式

说明:

不能同时设置“topic-pattern” 和“topic” 。

properties.bootstrap.servers

必选

String

Kafka broker列表,以逗号分隔

properties.group.id

kafka作为source时必选

String

Kafka的使用者组ID

format

必选

String

用于反序列化和序列化Kafka消息的值部分的格式

properties.*

可选

String

安全模式下需增加认证相关的参数

scan.topic-partition-discovery.interval

可选

Duration

消费者定时动态发现创建的Partition的时间间隔。默认值:5min。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24248.html