数据治理中心 DATAARTS STUDIO-配置实时网络连接:操作场景

时间:2024-12-03 16:03:17

操作场景

DataArts Migration作业运行于资源组提供的资源之上,因此资源组与数据源之间必须保证连通,才能实现对数据的实时ETL(抽取(Extract)、清洗转换(Transform)、加载(Load))。

集成作业创建后,选定了数据源端、目的端及资源组后,需要检测资源组与两个数据源之间的连通性。

资源组与两个数据源分布在不同账号和云时的打通网络方案不同,具体如下:

  • 数据源创建在本租户的VPC时通过对等连接打通网络,详情请参见数据连接与资源组同时创建在华为云同一个租户
    图1 原理图

    通过对等连接打通资源组网段数据源VPC

  • 数据源创建在本地机房/其他区域/其他租户/其他公有云时,通过业务VPC、中转VPC打通网络:数据连接与资源组分布在不同租户或分布在不同云上
    • 主推方案:使用中转VPC中转网络。
      图2 原理图

      数据源VPC与资源组网段不在一起时,首先通过云专线等方式连通华为云专有网络(业务VPC)和数据源VPC,再通过购买私网NAT和创建中转IP方式连通与资源组打通网络的中转VPC。

      使用限制:

      • 用户已具备一个业务VPC账号。
      • 新建的中转VPC必须和资源组在同一个账号下。

      优点:通用性强,无需在网络链路上多处放通资源组网段及添加对应路由,后续新增资源组仅需增加SNAT规则,适配工作量小。

      缺点:需要额外购买 私网NAT网关 、创建中转VPC、且实时同步速率因此也受NAT带宽限制。

    • 备选方案:根据实际组网手动添加路由配置。
      图3 原理图

      数据源VPC与资源组网段不在一起时,首先通过云专线等方式连通华为云专有网络(业务VPC)和数据源VPC,再通过对等连接方式连通业务VPC与资源组网段。

      优点:无需额外购买其他服务。

      缺点:操作复杂,局限性大,需要根据用户实际组网去修改网络链路上的路由及服务配置,后续每增加一个资源组就须重复操作一遍整个流程。

support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4107.html