华为云首页用户手册

数据湖探索 DLI-MySql CDC:支持特性

数据湖探索 DLI-MySql CDC:支持特性

时间：2024-04-18 20:33:04

数据湖探索 DLI

支持特性

增量快照读取
 增量快照读取是一种读取表快照的新机制。与旧的快照机制相比，增量快照具有许多优点，包括：
- 在快照读取期间，Source 支持并发读取，
- 在快照读取期间，Source 支持进行 chunk 粒度的 checkpoint，
- 在快照读取之前，Source 不需要数据库锁权限。
如果希望 source 并行运行，则每个并行 reader 都应该具有唯一的 server id，因此server id的范围必须类似于 5400-6400，且范围必须大于并行度。在增量快照读取过程中，MySQL CDC Source 首先通过表的主键将表划分成多个块（chunk），然后 MySQL CDC Source 将多个块分配给多个 reader 以并行读取表的数据。
无锁算法
 MySQL CDC source 使用增量快照算法, 避免了数据库锁的使用，因此不需要 “RELOAD” 权限。
并发读取
 增量快照读取提供了并行读取快照数据的能力。
全量阶段支持 checkpoint
增量快照读取提供了在区块级别执行检查点的能力。它使用新的快照读取机制解决了以前版本中的检查点超时问题。

上一篇：数据湖探索 DLI-MySql CDC:语法格式

下一篇：数据湖探索 DLI-MySql CDC:语法格式

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据湖探索 DLI-MySql CDC:支持特性

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题