Haydn解决方案工厂-需求管理:数据调研管理

时间:2023-11-01 16:16:24

数据调研管理

通过源端agent数据探源包,对待集成的源端系统数据进行探源,支持将探源结果导入到Haydn平台并进行库表信息的展示。

  1. 创建公司组织架构信息

    在开始对探源对象进行监控&数据导入前,需要创建应用系统列表,用于展示公司的组织架构信息。后续的数据连接即监控等按照组织架构进行划分。

    图2
  2. 配置监控规则

    配置数据采集规则,包含Db、表信息等采集周期和具体时间,若未配置,则按默认规则进行数据采集。

    • Db采集:配置数据库采集时间,如:数据库类型,数据库表数,数据总量,采集时间。
    • 表信息采集:配置表的采集时间。
    • 字段采集:配置字段采集时间。
    • 上报采集:配置库、表、字段采集信息的上报时间。
    • 删除字段:各项目根据自己公司的实际情况,配置表在软删除是删除字段的名称。
  3. 添加监控对象

    添加要监控的数据源,配置想要采集的数据连接的库表信息,以及所需采集的空值字段的表名和表字段名的采集。前提:已在连接管理中创建好对应的连接。

    图3 添加监控对象
  4. 下载配置

    配置完成后,下载配置文件。配置文件文件中包含了前面配置的规则、数据源信息等,用户可以修改配置文件中的信息。

  5. 导入监控对象检查结果

    通过探源工具示例代码,结合步骤4中下载的配置文件,在用户的源端系统中运行代码,完成数据探源后导入监控对象检查结果。探源工具示例代码可参考下图下载(内含探源方法)。这里展示对相应组织结构下的表信息进行展示,包括表行数、每行平均长度、表数据量、时间戳字段(表中是否含有date和timestamp类型)、删除标识(表中是否含有删除字段)、空值率检测(该表是否进行了空置率检测)。

    图4 导入监控对象检查结果
support.huaweicloud.com/usermanual-haydncsf/haydncsf_04_0062.html