MAPREDUCE服务 MRS-基于binlog的MySQL数据同步到MRS集群中:验证Maxwell

时间：2024-11-28 01:44:09

MAPREDUCE服务 MRS Kafka常见问题

验证Maxwell

登录Maxwell所在的服务器。
查看日志。如果日志里面没有ERROR日志，且有打印如下日志，表示与MySQL连接正常。
```
BinlogConnectorLifecycleListener - Binlog connected.
```

登录MySQL数据库，对测试数据进行更新/创建/删除等操作。操作语句可以参考如下示例。

-- 创建库
create database test;
-- 创建表
create table test.e (
  id int(10) not null primary key auto_increment,
  m double,
  c timestamp(6),
  comment varchar(255) charset 'latin1'
);
-- 增加记录
insert into test.e set m = 4.2341, c = now(3), comment = 'I am a creature of light.';
-- 更新记录
update test.e set m = 5.444, c = now(3) where id = 1;
-- 删除记录
delete from test.e where id = 1;
-- 修改表
alter table test.e add column torvalds bigint unsigned after m;
-- 删除表
drop table test.e;
-- 删除库
drop database test;

观察Maxwell的日志输出，如果没有WARN/ERROR打印，则表示Maxwell安装配置正常。
如果要确定数据是否成功上传，可设置config.properties中的log_level为debug，则数据上传成功时会立刻打印如下JSON格式数据，具体字段含义请参考Maxwell生成的数据格式及常见字段含义。
```
{"database":"test","table":"e","type":"insert","ts":1541150929,"xid":60556,"commit":true,"data":{"id":1,"m":4.2341,"c":"2018-11-02 09:28:49.297000","comment":"I am a creature of light."}}
……
```
当整个流程调试通过之后，可以把config.properties文件中的配置项log_level修改为info，减少日志打印量，并重启Maxwell。
```
# log level [debug | info | warn | error]
log_level=info
```