华为云首页用户手册

表格存储服务 CLOUDTABLE-Broker Load:相关系统配置

表格存储服务 CLOUDTABLE-Broker Load:相关系统配置

时间：2024-09-20 16:04:25

表格存储服务 CLOUDTABLE 批量数据导入

相关系统配置

FE配置。
下面几个配置属于Broker load的系统级别配置，也就是作用于所有Broker load导入任务的配置。主要通过修改FE配置项来调整配置值。
- max_bytes_per_broker_scanner/max_broker_concurrency
  max_bytes_per_broker_scanner配置限制了单个BE处理的数据量的最大值。max_broker_concurrency配置限制了一个作业的最大的导入并发数。最小处理的数据量（默认64M），最大并发数，源文件的大小和当前集群BE的个数共同决定了本次导入的并发数。
```
本次导入并发数=Math.min(源文件大小/最小处理量（默认64M），最大并发数，当前BE节点个数)。
本次导入单个BE的处理量=源文件大小/本次导入的并发数。
```
  通常一个导入作业支持的最大数据量为max_bytes_per_broker_scanner*BE节点数。如果需要导入更大数据量，则需要适当调整max_bytes_per_broker_scanner参数的大小。
  
  默认配置：
  - 参数名：max_broker_concurrency，默认10。
  - 参数名：max_bytes_per_broker_scanner，默认3G，单位bytes。

上一篇：表格存储服务 CLOUDTABLE-Broker Load:作业调度

下一篇：表格存储服务 CLOUDTABLE-Broker Load:开始导入

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

表格存储服务 CLOUDTABLE-Broker Load:相关系统配置

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题