应用平台 APPSTAGE-HDFS数据管理:编辑任务

时间:2024-09-10 10:22:06

编辑任务

  1. 在HDFS页面列表中,单击待编辑任务的HDFS所在行的“编辑任务”,进入该路径详情页面。
  2. 单击“创建导流任务”,进入“导流任务配置”页面。
  3. 配置任务参数,参数说明如表2所示。配置完成后,单击“确定”。

    表2 导流任务配置参数说明

    参数名称

    参数说明

    Kafka Topic

    选择已申请的Kafka Topic。

    执行集群

    选择执行的集群。

    执行队列

    选择执行队列。

    批次大小

    每次写入的数据条数。默认为10000,一般不需要修改。对于每条消息比较大的topic,需要调小批次大小。

    从头开始消费Kafka

    选择是否从头开始消费Kafka。

    HDFS文件生成周期

    -

    Kafka Group Id

    -

support.huaweicloud.com/usermanual-appstage/appstage_04_0214.html