华为云首页用户手册

MapReduce服务 MRS-CarbonData数据类型概述:CarbonData主要规格

MapReduce服务 MRS-CarbonData数据类型概述:CarbonData主要规格

时间：2025-02-12 14:58:21

MapReduce服务 MRS

CarbonData主要规格

表2 CarbonData主要规格
实体	测试值	测试环境
表数	10000	3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。总列数：107 String：75 Int：13 BigInt：7 Timestamp：6 Double：6
表的列数	2000	3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。
原始 CS V文件大小的最大值	200GB	17个cluster节点，每个executor 150GB，25个CPU核。Driver内存10 GB，17个Executor。
每个文件夹的CSV文件数	100个文件夹，每个文件夹10个文件，每个文件大小50MB。	3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。
加载文件夹数	10000	3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。

数据加载所需的内存取决于以下因素：

列数
列值大小
并发（使用“carbon.number.of.cores.while.loading”进行配置）
在内存中排序的大小（使用“carbon.sort.size”进行配置）
中间缓存（使用“carbon.graph.rowset.size”进行配置）

加载包含1000万条记录和300列的8 GB CSV文件的数据，每行大小约为0.8KB的8GB CSV文件的数据，需要约为10GB的executor执行内存，也就是说，“carbon.sort.size” 配置为“100000”，所有其他前面的配置保留默认值。

上一篇：MapReduce服务 MRS-CarbonData数据类型概述:二级索引表规格

下一篇：MapReduce服务 MRS-CarbonData数据类型概述:二级索引表规格

开年采购季抽奖赢万元免单

立即前往

续费同价 L实例 2核2G 4M

98元/年

企业专享 X实例 2核4G 5M

198元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-CarbonData数据类型概述:CarbonData主要规格

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题