华为云首页用户手册

MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:配置Maxwell

MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:配置Maxwell

时间：2024-07-02 16:39:36

MAPREDUCE服务 MRS

配置Maxwell

在maxwell-XXX文件夹下如果有conf目录则配置config.properties文件，配置项说明请参见表1。如果没有conf目录，则是在maxwell-XXX文件夹下将config.properties.example修改成config.properties。

表1 Maxwell配置项说明
配置项	是否必填	说明	默认值
user	是	连接MySQL的用户名，即2中新创建的用户	-
password	是	连接MySQL的密码。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。	-
host	否	MySQL地址	localhost
port	否	MySQL端口	3306
log_level	否	日志打印级别，可选值为 debug info warn error	info
output_ddl	否	是否发送DDL(数据库与数据表的定义修改)事件 true：发送DDL事件 false：不发送DDL事件	false
producer	是	生产者类型，配置为kafka stdout：将生成的事件打印在日志中 kafka：将生成的事件发送到kafka	stdout
producer_partition_by	否	分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中	database
ignore_producer_error	否	是否忽略生产者发送数据失败的错误 true：在日志中打印错误信息并跳过错误的数据，程序继续运行 false：在日志中打印错误信息并终止程序	true
metrics_slf4j_interval	否	在日志中输出上传kafka成功与失败数据的数量统计的时间间隔，单位为秒	60
kafka.bootstrap.servers	是	kafka代理节点地址，配置形式为HOST:PORT[,HOST:PORT]	-
kafka_topic	否	写入kafka的topic名称	maxwell
dead_letter_topic	否	当发送某条记录出错时，记录该条出错记录主键的kafka topic	-
kafka_version	否	Maxwell使用的kafka producer版本号，不能在config.properties中配置，需要在启动命令时用-- kafka_version xxx参数传入	-
kafka_partition_hash	否	划分kafka topic partition的算法，支持default或murmur3	default
kafka_key_format	否	Kafka record的key生成方式，支持array或Hash	Hash
ddl_kafka_topic	否	当output_ddl配置为true时，DDL操作写入的topic	{kafka_topic}
filter	否	过滤数据库或表。如果只想采集mydatabase的库，可以配置为 exclude: .,include: mydatabase.* 如果只想采集mydatabase.mytable的表，可以配置为 exclude: .,include: mydatabase.mytable 如果只想采集mydatabase库下的mytable，mydate_123, mydate_456表，可以配置为 exclude: .,include: mydatabase.mytable, include: mydatabase./mydate_\\d*/	-

上一篇：MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:Maxwell生成的数据格式及常见字段含义

下一篇：MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:Maxwell生成的数据格式及常见字段含义

MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:配置Maxwell

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题