数据治理中心 DATAARTS STUDIO-参考：CDM性能实测数据:数据源抽取写入性能实测数据

时间：2024-04-19 16:12:19

常见数据源的性能实测结果分别如表1和表2所示。

表1 读取性能实测数据
数据源	数据源规格	版本	单并发抽取速率（行/s）	多并发抽取速率（行/s）
云数据库 MySQL	8U 32G	MySQL 5.7	42052	195313（并发度：40）
Oracle	8U 16G	19C	18539	18706（并发度：10）
MRS Hbase	master 16U64G 3 node 8U32G 3	MRS 3.1.0	6296	69156（并发度：30）
MRS Hive	master 16U64G 3 node 8U32G 3	MRS 3.1.0	22321	170068（并发度：30）
MRS HDFS（二进制文件）	master 16U64G 3 node 8U32G 3	MRS 3.1.0	138727	141468（并发度：20）
			125556	126990（并发度：10）
			120919	120919（并发度：10）
DWS	8U 16G	8.1.1.300	13434	/
DLI	16U	SQL队列	71023	19290（并发度：20）
MRS Hudi（MOR）	master 16U64G 3 node 8U64G 3	MRS 3.2.0	75187	467289（并发度：30）
MRS Hudi（COW）	master 16U64G 3 node 8U64G 3	MRS 3.2.0	84033	485436（并发度：30）
Clickhouse	node 8U32G * 2	clickhouse 22.3.2.2	187265	/
Elasticsearch	4U8G *6	elasticsearch7.10.2	28752	/
RDS（Postgresql）	4U32G（主备模式）	Postgresql 13.12	128865	1351351（并发度：30）

表2 写入性能实测数据
数据源	数据源规格	版本	单并发写入速率（行/s）	多并发写入速率（行/s）
云数据库 MySQL	8U 32G	MySQL 5.7	2658	/
Oracle	8U 16G	19C	/	/
MRS Hbase	master 16U64G 3 node 8U32G 3	MRS 3.1.0	3959	4120（并发度：10）
MRS Hive	master 16U64G 3 node 8U32G 3	MRS 3.1.0	25813	26882（并发度：10）
MRS HDFS（二进制文件）	master 16U64G 3 node 8U32G 3	MRS 3.1.0	65075	90155（并发度：10）
			86248	86248（并发度：1）
			76687	76687（并发度：1）
DWS	8U 16G	8.1.1.300	26624	27902（并发度：10）
DLI	16U	SQL队列	15211	18430（并发度：10）
MRS Hudi（MOR）	master 16U64G 3 node 8U64G 3	MRS 3.2.0	16345	183150（并发度：10）
MRS Hudi（COW）	master 16U64G 3 node 8U64G 3	MRS 3.2.0	21088	88183（并发度：20）
Clickhouse	node 8U32G * 2	clickhouse 22.3.2.2	93984	/
Elasticsearch	4U8G *6	elasticsearch 7.10.2	22271	/
RDS（Postgresql）	4U32G（主备模式）	Postgresql 13.12	34746	153374（并发度：10）