MAPREDUCE服务 MRS-Flume常用配置参数:常用Channel配置

时间：2024-08-01 19:24:17

MAPREDUCE服务 MRS Flume运维管理

Memory Channel

Memory Channel使用内存作为缓存区，Events存放在内存队列中。常用配置如表6所示：

图6 Memory Channel

表6 Memory Channel常用配置
参数	默认值	描述
type	-	类型，需配置为“memory”。仅可在“properties.properties”文件中配置。
capacity	10000	缓存在Channel中的最大Event数。
transactionCapacity	1000	每次存取的最大Event数。
channelfullcount	10	Channel full次数，达到该次数后发送告警。

File Channel

File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中。常用配置如表7所示：

图7 File Channel

表7 File Channel常用配置
参数	默认值	描述
type	-	类型，需配置为“file”。仅可在“properties.properties”文件中配置。
checkpointDir	${BIGDATA_DATA_HOME}/flume/checkpoint	检查点存放路径。
dataDirs	${BIGDATA_DATA_HOME}/flume/data	数据缓存路径，设置多个路径可提升性能，中间用逗号分开。
maxFileSize	2146435071	单个缓存文件的最大值，单位：字节。
minimumRequiredSpace	524288000	缓冲区空闲空间最小值，单位：字节。
capacity	1000000	缓存在Channel中的最大Event数。
transactionCapacity	10000	每次存取的最大Event数。
channelfullcount	10	Channel full次数，达到该次数后发送告警。

Kafka Channel

Kafka Channel使用kafka集群缓存数据，Kafka提供高可用、多副本，以防Flume或Kafka Broker崩溃，Channel中的数据会立即被Sink消费。常用配置如表 10 Kafka Channel 常用配置所示：

图8 Kafka Channel

表8 Kafka Channel常用配置
参数	默认值	描述
type	-	类型，需配置为 “org.apache.flume.channel.kafka.KafkaChannel”.。仅可在“properties.properties”文件中配置。
kafka.bootstrap.servers	-	kafka broker列表。
kafka.topic	flume-channel	Channel用来缓存数据的topic。
kafka.consumer.group.id	flume	Kafka消费者组ID。
parseAsFlumeEvent	true	是否解析为Flume event。
migrateZookeeperOffsets	true	当Kafka没有存储offset时，是否从ZooKeeper中查找，并提交到Kafka。
kafka.consumer.auto.offset.reset	latest	当没有offset记录时，从指定的位置消费数据。
kafka.producer.security.protocol	SASL_PLAINTEXT	Kafka生产者安全协议。
kafka.consumer.security.protocol	SASL_PLAINTEXT	Kafka消费者安全协议。