数据湖探索 DLI-入门实践
下载数据湖探索 DLI用户手册完整版
入门实践
我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用 DLI 进行大数据分析和处理。
场景 |
操作指导 |
描述 |
|---|---|---|
队列网络连通 |
DLI在创建运行作业需要连接外部其他数据源，本节操作介绍队列与外部数据源之间的网络连通方法，如：DLI连接 MRS 、RDS、 CSS 、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。 |
|
介绍DLI队列在公网访问场景下网络连通的方法。通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 |
||
Spark SQL作业开发 |
介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。 |
|
Flink OpenSource SQL作业开发 |
介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到RDS的开发示例。 |
|
介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到DWS的开发示例。 |
||
介绍使用Flink OpenSource SQL作业从Kafka读取数据写入到Elasticsearch的开发示例。 |
||
介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。 |
||
介绍使用Flink OpenSource SQL作业从PostgreSQL CDC源表读取数据写入到DWS的开发示例。 |
||
Flink Jar作业开发 |
通过自定义作业与MRS进行交互为例进行介绍Flink Jar作业开发样例。 |
|
介绍将kafka数据处理后写入到OBS的操作样例。 |
||
介绍使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka。 |
||
介绍Flink Jar作业读写DIS数据的操作方法。 |
||
Spark Jar作业开发 |
介绍从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业的开发样例。 |
|
数据迁移 |
介绍如何通过 CDM 数据同步功能，迁移MRS Hive数据至DLI。 |
|
介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 |
||
介绍如何通过CDM数据同步功能，迁移Elasticsearch类型的 CS S集群数据至DLI。 |
||
介绍如何通过CDM数据同步功能，迁移关系型数据库RDS数据至DLI。 |
||
介绍如何通过CDM数据同步功能，迁移 数据仓库 服务DWS数据至DLI。 |
