应用平台 APPSTAGE-Druid数据管理:创建提取任务

时间:2024-09-10 10:22:06

创建提取任务

  1. 在Druid页面列表中,单击待编辑任务的Druid数据源所在行的“编辑任务”,进入该数据源提取任务页面。
  2. 单击“创建任务”,进入“创建任务”页面。
  3. 配置任务参数,参数说明如表2所示。配置完成后,单击“确定”。

    表2 配置任务参数说明

    参数名称

    参数说明

    名称

    Druid提取任务名,默认与数据源同名,无需手动填写。

    描述

    输入描述信息。

    调度集成

    定时执行Druid提取任务的调度集群。

    Kafka Topic

    选择需要消费数据的kafka topic。

    使用最早offset消费

    首次提交的任务设置为false,补数据时配置为true。

    任务数

    需要多少个并发进程同时读取该druid任务所对应的kafka topic,任务数(默认为2)应该小于topic分区数,并且能被topic分区数所整除,这样每个druid的子任务可以读取相同的数据量,达到负载均衡的效果。

    指标列表

    该指标列表由创建数据源时选择的指标决定,如果指标与对应的kafka字段名一致,会自动填充,如果不一致,需手动添加映射。

  4. 任务配置完成后,在Druid页面列表中,单击已编辑的任务的Druid数据源所在行的“启动”,启动导流任务。

    在数据源生命周期内,Druid集群会持续提取Kafka数据到Druid数据源中。

support.huaweicloud.com/usermanual-appstage/appstage_04_0218.html