实时数据融合平台-

DataPipeline实时数据产品矩阵利用实时数据融合打破技术壁垒，让客户专注数据价值释放。不仅支持 数据迁移 ，应用 数据集 成，主 数据管理 ，业务分析，ETL和数据质量等数据应用场景的数据获取与集成，同时它还提供将实时数据加载到ODS或者 数据仓库 中，帮助企业增强业务敏捷性和关键报表时效性的卓越能力。除了支撑传统数据应用场景，DataPipeline实时数据融合还可以直接将数据分发到Apache Kafka，Hive及HDFS等 大数据 平台，支撑企业的事件驱动营销、大数据分析及业务数据交换等各类场景。同时作为企业级数据服务平台与实时异常检测平台的数据支撑，DataPipeline实时数据融合与DataPipeline实时数据服务、DataPipeline实时异常检测无缝集成。

DataPipeline实时数据融合通过多种实时数据技术，支持广泛的数据节点类型，协助客户构建以业务目标为导向的数据链路，按需快速定制、部署、执行数据任务，以支持从传统数据处理到实时数据应用的各类场景，这包括：

Oracle、MySQL、Microsoft SQL Server、PostgreSQL等关系型 数据库 管理系统（RDBMS）作为数据目的地，例如数据仓库，ODS或跨应用集成等场景；
Redis、MongoDB等NoSQL数据库作为数据目的地，例如互联网应用等需要快速迭代的场景；
Hive或Kafka集群作为数据目的地，例如企业级大数据平台和企业级信息总线场景；
TiDB、GaussDB等自研数据库作为目的地的数据 迁移 场景；
以上各类数据节点的云版本；

使用最全最快最准的数据作为算法输入与决策依据

DataPipeline实时数据融合支持数十种主流数据库作为数据节点，打破企业域内各类异构数据技术构成的樊篱，让存储在不同类型数据节点中的数据随需可得；采用基于日志的增量数据获取技术（Log-based change data capture），为主数据管理、数据仓库、大数据平台提供实时、准确的数据变化，从而使得客户可以根据最新数据进行运营管理与决策制定；支持一对多数据分发，针对数据分发、外部数据管理等场景，确保整个企业使用的数据准确、可靠、一致。

Oracle，通过特有增量数据采集代理读取数据库日志获取准确的增量数据，同时也支持LogMiner方式；
MySQL，通过Binlog方式获取准确的增量数据；
Microsoft SQL Server，支持CT与CDC两种增量数据获取模式；
PostgreSQL，支持通过wal2json解析日志获取准确的增量数据；
IBM DB2，支持通过集成IBM CDC Replication Engine for DB2解析日志获取准确的增量数据；
 

使用分层管理按需服务的配置型平台来提升IT敏捷开发效率
DataPipeline实时数据融合将数据节点注册、数据链路配置、数据任务构建、系统资源分配等各个环节分层次、分租户、分用户进行解耦。一方面保证数据节点的安全性、稳定性、业务连续性，一方面为数据应用提供更多的自主性，使客户可以将数据获取的范围、数据任务的生命周期、系统资源投入的多寡等权限更多的交给实际使用数据的业务部门及应用开发人员。提升敏捷开发效率，实现多速IT，从而在业务需求变化时从容应对，达成 数字化 转型目标。

节点管理，通过基本配置注册实时数据融合相关的各类数据节点，通过限制配置限制数据任务执行过程中对数据节点的访问，操作动作范围及规则，通过策略配置指定语义映射、多节点降级顺序等数据融合任务执行过程中需遵循的策略。

链路管理，以业务目标为导向，通过基本配置选择数据链路的相关数据源与数据目的地，建立数据对象映射关系，通过限制配置和策略配置，指定在整个数据链路域内的传输速率上限、结构变化策略、一致性保障策略及预警、日志、自动重启等任务执行策略。

任务管理，在已配置完善的数据链路的逻辑框架下，通过基本配置，选择数据链路、选择资源分组、选择任务执行方式，通过限制配置与策略配置对基于链路设定之下的各类限制与策略进行个性化配置。

资源管理，通过基本配置，注册、发现系统资源，建立资源分组，通过限制配置限制数据任务执行过程中对系统资源的使用限制，通过策略配置指定任务执行过程中系统资源状态变化与事件发生的应对策略与规则。

通过高容错的分布式系统和卓越的性能来降低风险

无论是在不同系统间进行数据传递还是将不同系统的数据进行融合，业务连续性、稳定性及性能都至关重要，DataPipeline实时数据融合所有组件均支持高可用，融合引擎基于容器化分布式集群部署，支持动态扩缩容；在节点管理、链路管理、任务管理中均有各个层次稳定性相关策略配置。针对数据采集、消息队列及数据加载的各个组件都进行了一系列专门的性能优化，完全满足客户从数据迁移、数据交换到实时数据服务、实时数据分析的各类时间窗口要求和时效性要求。

支持容错性策略配置，数据节点多节点降级策略、融合任务错误队列策略、数据源结构变化策略、融合任务自动重启策略；
在满足推荐配置的性能测试中，数据采集速度可达近百兆每秒，在客户实际生产环境中，日均处理数据10亿行以上，单任务日处理数据量1T以上。

使用专业化商业套件来降低基础平台研发成本

DataPipeline实时数据融合作为专业化商业套件，通过多年在各个行业的数据融合领域经验积累，将各类专业数据融合技术以专业化产品的方式按照数据节点、数据链路、融合任务、系统资源四个逻辑概念，基本配置、限制配置、策略配置三个层次提供给用户进行配置式构建，大大降低了企业搭建基础平台的研发成本与运维成本，让客户能够将时间精力与优质资源投入到数据价值释放与商业价值实现上去。

数据工程师将精力集中在数据分析与数据价值挖掘，而不是数据链路的研发与融合任务的运维上；
企业级平台的建设周期从三到六个月减少为一周以内，财务成本由300万+减少到30万以内；
数据融合任务的研发交付时间从2周减少为5分钟。

重点领域 信息化 领先客户的广泛验证
DataPipeline实时数据融合产品在金融、能源、制造、零售、商业地产、医疗、互联网等重点领域被广泛使用，服务了如中国人寿、民生银行、财通证券、中国石油、法国威立雅、吉利汽车、星巴克、百胜中国、龙湖地产、邵逸夫医院、叮当快药、正保远程教育等在各自行业信息化水平领先的客户，被应用在客户服务、生产调度、运营管理、业务分析等重要场景中，在系统稳定性、可管理性、扩展性、灵活性方面经过了反复验证，在系统性能指标、架构设计的专业性与技术先进性上均得到了客户的认可。

DataPipeline涵盖基础数据库、大数据、云以及GaussDB。

基础数据库模块：支持全面的数据节点类型，覆盖各类关系型数据库、NoSQL 数据库和国产数据库。

大数据模块：支持全面的数据节点类型，覆盖大数据平台、消息队列、文件系统、API 等数据类型。

云模块：支持全面的数据节点类型，可用于各种上 云迁移 服务，如华为云。

GaussDB模块：DataPipeline与GaussDB完成适配，实现了良好的兼容性，而且性能卓越、系统功能正常、运行稳定，能够顺利部署并对外提供服务。