数据治理中心 DATAARTS STUDIO-配置实时网络连接:操作场景
操作场景
DataArts Migration作业运行于资源组提供的资源之上,因此资源组与数据源之间必须保证连通,才能实现对数据的实时ETL(抽取(Extract)、清洗转换(Transform)、加载(Load))。
集成作业创建后,选定了数据源端、目的端及资源组后,需要检测资源组与两个数据源之间的连通性。
资源组与两个数据源分布在不同账号和云时的打通网络方案不同,具体如下:
- 数据源创建在本租户的VPC时通过对等连接打通网络,详情请参见数据连接与资源组同时创建在华为云同一个租户。
图1 原理图
通过对等连接打通资源组网段和数据源VPC。
- 数据源创建在本地机房/其他区域/其他租户/其他公有云时,通过业务VPC、中转VPC打通网络:数据连接与资源组分布在不同租户或分布在不同云上。
- 主推方案:使用中转VPC中转网络。
图2 原理图
数据源VPC与资源组网段不在一起时,首先通过云专线等方式连通华为云专有网络(业务VPC)和数据源VPC,再通过购买私网NAT和创建中转IP方式连通与资源组打通网络的中转VPC。
使用限制:
- 用户已具备一个业务VPC账号。
- 新建的中转VPC必须和资源组在同一个账号下。
优点:通用性强,无需在网络链路上多处放通资源组网段及添加对应路由,后续新增资源组仅需增加SNAT规则,适配工作量小。
缺点:需要额外购买 私网NAT网关 、创建中转VPC、且实时同步速率因此也受NAT带宽限制。
- 备选方案:根据实际组网手动添加路由配置。
图3 原理图
数据源VPC与资源组网段不在一起时,首先通过云专线等方式连通华为云专有网络(业务VPC)和数据源VPC,再通过对等连接方式连通业务VPC与资源组网段。
优点:无需额外购买其他服务。
缺点:操作复杂,局限性大,需要根据用户实际组网去修改网络链路上的路由及服务配置,后续每增加一个资源组就须重复操作一遍整个流程。
- 主推方案:使用中转VPC中转网络。