应用平台 APPSTAGE-Druid数据管理:创建提取任务
创建提取任务
- 在Druid页面列表中,单击待编辑任务的Druid数据源所在行的“编辑任务”,进入该数据源提取任务页面。
- 单击“创建任务”,进入“创建任务”页面。
- 配置任务参数,参数说明如表2所示。配置完成后,单击“确定”。
表2 配置任务参数说明 参数名称
参数说明
名称
Druid提取任务名,默认与数据源同名,无需手动填写。
描述
输入描述信息。
调度集成
定时执行Druid提取任务的调度集群。
Kafka Topic
选择需要消费数据的kafka topic。
使用最早offset消费
首次提交的任务设置为false,补数据时配置为true。
任务数
需要多少个并发进程同时读取该druid任务所对应的kafka topic,任务数(默认为2)应该小于topic分区数,并且能被topic分区数所整除,这样每个druid的子任务可以读取相同的数据量,达到负载均衡的效果。
指标列表
该指标列表由创建数据源时选择的指标决定,如果指标与对应的kafka字段名一致,会自动填充,如果不一致,需手动添加映射。
- 任务配置完成后,在Druid页面列表中,单击已编辑的任务的Druid数据源所在行的“启动”,启动导流任务。
在数据源生命周期内,Druid集群会持续提取Kafka数据到Druid数据源中。