数据湖探索 DLI
异构数据整合
2023-05-19 14:40:10
异构数据整合，可以将海量数据中的一个或多个异构的数据进行整合，进行统一的数据存储、挖掘和分析。数据统一存储，是用户在自建的 数据仓库 的过程中，通常是以任务调度为主，而数据源是之间对外提供的，是以整体进行分析处理的一种方法。例如，一个保险公司的保险公司在销售查询某一笔经营资金，可以查询到每个月的消费明细。面对这些数据的整合分析，就涉及到消费者、供应商、商品等信息。本文将对该场景进行了具体的描述。该场景主要描述的是查询特定时间范围内的数据，以秒为单位的查询时为度量，可以对查询的时间、运营商、商品信息等进行过滤查询。DIS的更多信息，请参见《数据湖探索用户指南》。请务必确保您的账户下已在数据湖探索服务(DLI)里创建了DLI队列。如何创建DLI队列，在使用DLI进行跨源分析前，需要先建立跨源连接，打通数据源之间的网络。通过增强型跨源连接，可对队列进行网络打通。具体操作请参考《数据湖探索用户指南》中增强型跨源连接章节。如何设置安全组规则，请参见《 虚拟私有云 用户指南》中“安全组”章节。SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
