应用与数据集成平台 ROMA CONNECT-产品规格差异:数据集成规格

时间:2024-09-04 10:21:58

数据集成规格

如下为实例中单个任务运行时各数据源的读写性能,仅供参考。实际单个任务运行的性能还受网络带宽、数据源服务端性能等因素影响。在实例中有多个任务并发运行的情况下,受限于多个任务抢占CPU、内存等资源,任务的性能相比单个任务运行的性能会有不同程度的下降。

  • 普通任务

    ROMA Connect支持的数据集成普通任务中不同类型数据源的性能参考如下所示。

    数据源类型

    读速率(MB/S)

    写速率(MB/S)

    MRS Hive

    5

    2

    MRS HDFS

    5

    2

    DWS

    5

    2

    MySQL

    6

    3

    Oracle

    6

    2

    Kafka

    10

    8

    SQL Server

    6

    3

    PostgreSQL

    4

    2

    Gauss100

    6

    3

    FTP

    5

    3

    OBS

    6

    3

    MongoDB

    0.8

    0.3

    Redis

    /

    2

    HANA

    6

    3

    API

    /

    /

    • DWS数据源作为目标端时,目标表里的数据量越多,写入速率会越慢。
    • API数据源作为源端和目标端时,读写速率与服务端API响应速度直接相关。
    • 性能测试使用单条1KB消息进行测试,实际使用场景中若单条消息小于1KB,按照1KB计算速率。
  • 组合实时任务(CDC)

    由于CDC的实现与数据源端的Redo日志强相关,实际单任务运行的性能,受整体源端Redo日志大小影响较大,在极端情况下可能难以达成预期速率。如:数据库中有大量表,仅采集其中部分表,其他表的操作也可能会影响采集速率。

    ROMA Connect支持的数据集成组合任务性能参考如下所示。

    表3 Oracle到DWS的实时数据集成

    测试条件

    测试结果

    表字段数(列)

    插入数据总量(条)

    单条数据大小(KB)

    端到端速率(MB/S)

    12

    100万

    1

    1.2

    50

    100万

    1

    0.8

    100

    100万

    1

    0.4

    200

    100万

    1

    0.2

support.huaweicloud.com/productdesc-roma/product-specifications.html