MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:配置Maxwell

时间:2024-06-29 16:25:12

配置Maxwell

在maxwell-XXX文件夹下若有conf目录则配置config.properties文件,配置项说明请参见表1。若没有conf目录,则是在maxwell-XXX文件夹下将config.properties.example修改成config.properties。

表1 Maxwell配置项说明

配置项

是否必填

说明

默认值

user

连接MySQL的用户名,即2中新创建的用户

-

password

连接MySQL的密码,配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。

-

host

MySQL地址

localhost

port

MySQL端口

3306

log_level

日志打印级别,可选值为

  • debug
  • info
  • warn
  • error

info

output_ddl

是否发送DDL(数据库与数据表的定义修改)事件

  • true:发送DDL事件
  • false:不发送DDL事件

false

producer

生产者类型,配置为kafka

  • stdout:将生成的事件打印在日志中
  • kafka:将生成的事件发送到kafka

stdout

producer_partition_by

分区策略,用来确保相同一类的数据写入到kafka同一分区

  • database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
  • table:使用表名称做分区,保证同一个表的事件写入到kafka同一个分区中

database

ignore_producer_error

是否忽略生产者发送数据失败的错误

  • true:在日志中打印错误信息并跳过错误的数据,程序继续运行
  • false:在日志中打印错误信息并终止程序

true

metrics_slf4j_interval

在日志中输出上传kafka成功与失败数据的数量统计的时间间隔,单位为秒

60

kafka.bootstrap.servers

kafka代理节点地址,配置形式为HOST:PORT[,HOST:PORT]

-

kafka_topic

写入kafka的topic名称

maxwell

dead_letter_topic

当发送某条记录出错时,记录该条出错记录主键的kafka topic

-

kafka_version

Maxwell使用的kafka producer版本号,不能在config.properties中配置,需要在启动命令时用-- kafka_version xxx参数传入

-

kafka_partition_hash

划分kafka topic partition的算法,支持default或murmur3

default

kafka_key_format

Kafka record的key生成方式,支持array或Hash

Hash

ddl_kafka_topic

当output_ddl配置为true时,DDL操作写入的topic

{kafka_topic}

filter

过滤数据库或表。

  • 若只想采集mydatabase的库,可以配置为

    exclude: *.*,include: mydatabase.*

  • 若只想采集mydatabase.mytable的表,可以配置为

    exclude: *.*,include: mydatabase.mytable

  • 若只想采集mydatabase库下的mytable,mydate_123, mydate_456表,可以配置为

    exclude: *.*,include: mydatabase.mytable, include: mydatabase./mydate_\\d*/

-

support.huaweicloud.com/cmpntguide-mrs/mrs_01_0441.html