FastData DataFacts一站式数据智能服务平台-
版本: V2 | 交付方式: License |
适用于: Linux | 上架日期: 2022-03-10 03:28:08 |
一、DataFacts 一站式数据智能服务平台
1、数据采集
(1)基于CDC技术,提供对不侵入业务系统的企业级实时数据同步服务,保障数据时效性、可用性;
(2)基于WAL架构下的CKP异常自动保存技术,实现断点续传,面对再复杂的网络状况,也能保证数据传输的稳定性;
2、数据建模
(1)数据模型、加工及服务规范化,保障建模流程规范可控,促进企业数据标准化;
(2)融合多个行业最佳实践方法论,提升建模效率,实现业务场景高匹配;
3、数据开发
(1)支持WEB SQL的可视化离线/实时任务开发,降低用户学习成本;
(2)数据处理任务以DAG组织,任务修复重跑、暂停、kill等操作更优雅;
(3)丰富的 大数据 组件,根据资源现状灵活实现多种任务,资源利用率更高;
(4)支持数据的开发与生产环境隔离、多人协同开发,更安全、更高效;
4、资产管理
(1)基于元数据,统一管理数据资产,支撑数据资产持续增值;
(2)企业级 数据地图 ,数据资产生产及分布一目了然,做到易获取、低闲置;
(3)覆盖数据资产化全流程进行质量监管和检验,保障数据完整性、有效性、及时性、一致性、准确性、唯一性;
(4)内置质量检测规则模板并支持自定义,及时发现问题数据,减少数据污染;
5、数据服务
(1)统一的企业数据共享服务,严格管控数据使用权限;
(2)多视角监控及分析服务的使用情况,高效评估数据资产的价值;
6、 数据安全
(1)贯穿数据资产化全程,提供对隐私数据的加密、脱敏、授权监控等多种数据安全管理措施,全方位保障数据的安全运作;
二、DataFacts DCT 数据集 成服务
1、实时同步
采用基于日志的增量数据获取技术(CDC),为 数据管理 、 数据仓库 、大数据平台提供实时、准确的数据变化,从而使得客户可以根据最新数据进行运营管理与决策制定。
2、离线同步
支持关系型 数据库 、NOSQL及大数据(OLAP)等同构数据源或异构数据源间的数据结构同步、全量/增量同步。适用于整库 迁移 、数据库上云、数据库拆分扩容等场景。
3、增量同步
增量是相对于全量而言的。全量是指以基于某种过滤条件、在某个时间获取到的历史数据快照;增量为全量同步过程中或同步完成之后,源库产生的增量数据。
4、断点续传
基于WAL架构,发生异常时自动保存CKP,出现断网情况,当网络恢复,可基于断网的定期保存检查点,实现断点续传,保证数据传输的稳定性。