表格存储服务 CLOUDTABLE-Broker Load:作业调度

时间：2024-09-20 16:04:25

表格存储服务 CLOUDTABLE 批量数据导入

作业调度

系统会限制一个集群内正在运行的Broker Load作业数量，以防止同时运行过多的Load作业。

首先，FE的配置参数：desired_max_waiting_jobs会限制一个集群内未开始或正在运行（作业状态为PENDING或LOADING）的Broker Load作业数量。默认为100。如果超过这个阈值，新提交的作业将会被直接拒绝。

一个Broker Load作业会被分为pending task和loading task阶段。其中pending task负责获取导入文件的信息，而loading task会发送给BE执行具体的导入任务。

FE的配置参数async_pending_load_task_pool_size用于限制同时运行的pending task的任务数量。也相当于控制了实际正在运行的导入任务数量。该参数默认为10。也就是说，假设用户提交了100个Load作业，同时只会有10个作业会进入LOADING状态开始执行，而其他作业处于PENDING等待状态。

FE的配置参数async_loading_load_task_pool_size用于限制同时运行的loading task的任务数量。一个Broker Load作业会有1 pending task和多个loading task（等于LOAD语句中DATA INFILE子句的个数）。所以async_loading_load_task_pool_size应该大于等于async_pending_load_task_pool_size。

上一篇：表格存储服务 CLOUDTABLE-Broker Load:相关系统配置

下一篇：表格存储服务 CLOUDTABLE-Broker Load:开始导入