SaCa DataExchange-用户案例
国家法人单位基础信息库
助力国家工商总局实现全国法人单位基础信息的采集以及主题库的建设。采集全国法人数据总量10亿+,同步全国法人数据表总量3400张+,每日处理增量数据2000余万。
需求
以工商部门工商登记改革为契机,通过推进工商业务协同 一体化 进程,建立国家法人单位基础信息库,收集全国各类市场主体基础信息和行为信息,为企业法人基础信息资源库提供数据支持。以企业法人基础信息为基准,建立信息共享和校核机制,逐步建设内资企业、外资企业、个体工商户、农民专业经济合作社、农资市场、网络经营主体、直销企业管理、广告经营主体等方面的业务信息库。
国家法人单位基础信息库汇集了协同业务平台所产生和收集的各类信息,通过数据汇聚、 数据管理 、数据分析、数据统计、数据共享和联网应用业务,对全国市场主体的信息进行整理,为工商部门全系统协同监管提供数据支撑,为各部门提供信息共享服务,为政府决策、社会投资和行业监管提供数据决策服务。
解决方案
采用东软SaCa DataExchange据集成解决方案技术,建立高效快捷、安全可靠、高数据质量的全国法人单位基础信息库,其中包括法人单位基础信息库、总局各主题库、公示同步库等建设,技术实施环节主要涉及下级各单位的数据质量校核、比对、数据交换、数据转换清洗和数据服务等。
国家人口库
1项目背景
公安部是国务院主管全国公安工作的职能部门。公安部全国人口 数据库 信息系统,是公安部最重要的信息系统之一,承载了全国全部人口的数据,系统建设时已承载13亿人口数据,对外提供各类人口数据信息的查询。
2项目问题
项目问题:
如何实现海量人口数据定期上传、更新
如何保障人口数据上传、更新的及时性,保证13亿人口信息的鲜活性
如何提供安全数据交换机制,保障人口数据信息的安全传输
如何提供校核机制保障人口数据基准性和准确性
3产品方案
为了满足国家人口库项目建设需求,将省市等各级的人口信息及时、完整同步至公安部人口中心库中,整体方案架构如下,数据交换平台产品分级部署在地市端及省级端,实现数据从地市同步上传至省级,之后再通过交换平台将各省级的数据同步至部人口中心库中,为国家人口信息库提供详实、准确、完备的信息基础。
在方案中为了解决上述提到的海量信息定期上传、数据更新的及时性、传输过程的安全性及人口数据的准确性等问题,整体技术架构如下:
支持海量数据同步
交换平台提供断点续传和增量数据同步机制,可以支持百万数据量数据的同步、更新。
支持准实时的数据同步更新
交换平台通过高频的轮询,基于数据库日志的方式,将变化数据及时同步至目的端数据库,确保各级人口数据发生变化时及时同步更新,保证鲜活性。
提供完善的安全传输机制
通过“分级授权+ 交叉授权”的授权模式保证了数据的安全性,并在支持安全传输信道及 数据加密 机制。
提供数据质量校验机制
通过数据“基准校核、多源校核”的机制保证了数据的基准性、准确性。
4应用效果
通过数据交换平台实现了高效、便捷的数据汇集,保证数据的鲜活性,减少数据采集过程中对部委业务系统的干扰;结合基准校准和多元校核,保证国家人口基础信息库的基准性、准确性和权威性;最终将分处各地、不同网络环境、不同层级的人口数据库的信息及时、准确、完整的同步至公安部人口信息中心库中,为进一步的信息系统建设服务提供了权威的数据支撑。
全国职业招聘信息指标采集平台
1、客户介绍
全国职业招聘信息指标采集平台是由人力资源和社会保障部主导建设的项目。人力资源和社会保障部的组建,旨在更好地实施人才强国战略,充分发挥我国人力资源优势,建设人力资源强国;同时统筹机关和企事业单位人员管理;完善机关和企事业单位收入分配制度改革;整合人才市场和劳动力市场,建立统一规范的人力资源市场,促进人力资源合理流动和有效配置;统筹全社会的就业和社会保障政策,建立健全从就业到养老的服务和保障体系。
2、面临挑战(客户需求)
随着时代的发展,人力资源供需双方的业务需求明显增多。为了更好的服务于就业市场,让企业找到合适的人才,让就业者找到心仪的企业,人社部计划建设全国职业招聘信息平台并优化当前的数据采集模式,实现全国就业信息及时的统一采集、发布。
当前客户面临的主要问题:
一、全国信息汇总的工作量巨大
职业介绍业务工作量急剧增加,导致职业介绍数据指标项监测工作繁重。
二、标准不统一
由于各个地区业务属性的差异性,以及各个地区建设周期的差异性导致了信息交换缺乏统一的标准、规范。
三、数据汇总不及时
上报环节过多,很多环节无法实现 自动化 ,需要人工线下完成数据搜集和上报,导致数据上报不及时。当前全国数据汇总一次的周期约5天。
四、数据准确性不足
汇总的信息经常存在数据重复、不完整、不准确等问题。
3、解决方案
平台系统采用DataExchange数据交换平台为核心进行软件开发,通过该平台实现部中心端从省、市交换区定时抽取数据,最大程度地保证了抽取的实时性、传输的安全性,并提供在线监控、远程管理,为整合、复用异构信息系统的数据资源提供了良好方法。有效的解决了当部级数据中心与各个地市数据中的数据库表结构异构的情况下,数据的抽取、转换、传输、汇总;同时也实现了跨网络、跨地域、自动与手动并行的数据传输模式。
产品应用场景:
1, 从链路上分,系统分为内网与外网两大链路,并分别部署数据采集平台
2, 外网链路中,由外网控制台发布指令,数据由各市外网节点,通过SaCa DataExchange产品汇总到外网控制平台中。
3,部端与地市直连的情况下:由内网控制台发布指令,数据由各市内网节点通过SaCa DataExchange产品汇总到内网控制平台中。
4,部端通过省级交换中转的情况下:由内网控制台发布指令,省级交换中心接受到指令后转发至地市节点