应用与数据集成平台 ROMA CONNECT-产品规格差异:数据集成规格
数据集成规格
如下为实例中单个任务运行时各数据源的读写性能,仅供参考。实际单个任务运行的性能还受网络带宽、数据源服务端性能等因素影响。在实例中有多个任务并发运行的情况下,受限于多个任务抢占CPU、内存等资源,任务的性能相比单个任务运行的性能会有不同程度的下降。
- 普通任务
ROMA Connect支持的数据集成普通任务中不同类型数据源的性能参考如下所示。
数据源类型
读速率(MB/S)
写速率(MB/S)
MRS Hive
5
2
MRS HDFS
5
2
DWS
5
2
MySQL
6
3
Oracle
6
2
Kafka
10
8
SQL Server
6
3
PostgreSQL
4
2
Gauss100
6
3
FTP
5
3
OBS
6
3
MongoDB
0.8
0.3
Redis
/
2
HANA
6
3
API
/
/
- DWS数据源作为目标端时,目标表里的数据量越多,写入速率会越慢。
- API数据源作为源端和目标端时,读写速率与服务端API响应速度直接相关。
- 性能测试使用单条1KB消息进行测试,实际使用场景中若单条消息小于1KB,按照1KB计算速率。
- 组合实时任务(CDC)
由于CDC的实现与数据源端的Redo日志强相关,实际单任务运行的性能,受整体源端Redo日志大小影响较大,在极端情况下可能难以达成预期速率。如:数据库中有大量表,仅采集其中部分表,其他表的操作也可能会影响采集速率。
ROMA Connect支持的数据集成组合任务性能参考如下所示。
表3 Oracle到DWS的实时数据集成 测试条件
测试结果
表字段数(列)
插入数据总量(条)
单条数据大小(KB)
端到端速率(MB/S)
12
100万
1
1.2
50
100万
1
0.8
100
100万
1
0.4
200
100万
1
0.2
- 华为云资料 2021年 7月刊
- NAT网关产品规格_公网NAT_私网NAT_NAT规格_地址转换-华为云
- GaussDB规格_GaussDB数据库规格_高斯数据库规格_华为云
- GaussDB数据库空间规格_GaussDB文档_高斯数据库空间规格
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- OneAccess是什么_OneAccess的特性_OneAccess的优势_OneAccess的应用场景
- 华为云资料 2021年 4月刊
- 数据库压力怎么办_Redis_分布式缓存-华为云
- 物联网应用有哪些_IoT物联网平台的功能_物联网设备管理平台
- 数据治理中心_数据集成_使用教程_-华为云