ASTRO轻应用 ASTROZERO-如何配置事件流:操作步骤

时间:2024-07-17 13:46:36

操作步骤

  1. 参考登录经典应用设计器中操作,登录经典版应用设计器。
  2. 将鼠标放在应用的某个文件夹上(如Logic),单击“+”,选择“事件流”。

    开启事件流License权限后,才会有新建事件流的入口。

  3. 单击“新建”,进入“事件流”页面。
  4. 在“事件流”页面右侧,单击“设置”,进行数据配置。

    图2 设置页面

    窗口长度:事件流处理的数据采集时间间隔,单位为分钟。建议时间间隔不要配置过小,否则系统频繁的建表和执行SQL语句,会影响系统性能。例如:配置为“1”表示spark streaming每隔1分钟去kafka获取事件数据。

  5. 在“事件流”页面右侧,单击“图元”,拖拽“输入源”中Kafka图元至左侧画布区域,并配置基本信息,单击“保存”

    输入源中Kafka图标表示数据来自Kafka。
    图3 数据来源Kafka基本信息页面
    • 标签:新建数据源Kafka的标签名,用于在界面展示。
    • 名称:新建数据源Kafka的名称,系统自动生成。
    • 事件:需要订阅的事件。例如,配置为温度监测事件“temperature”。
    • 从外部接收:是否从外部Kafka接收事件。
      • 关闭该开关,从与AstroZero相连的Kafka接收事件。
      • 打开该开关,从外部Kafka接收事件。本示例中关闭该开关,使用与AstroZero相连的Kafka。
        • Kafka集群地址:数据源Kafka的集群地址。多个节点服务器地址可用“,”间隔,格式为“Kafka节点1ip:节点1端口号,Kafka节点2ip:节点2端口号,...”。

          获取Kafka的IP和端口号方法:登录每台Kafka节点服务器,查看“${KAFKA_HOME}/config”目录下,“server.properties”中“listeners”的取值。

        • 订阅主题:获取的事件数据来源,即来自于kafka集群的哪个Topic。

  6. 从“图元”中,拖拽“投影”图元至左侧画布区域数据源Kafka下方,并在弹出的“添加投影器”页面配置基本信息,单击“保存”。

    图4 “添加投影器”页面
    • 标签:新建投影的标签名,用于在界面展示。
    • 名称:新建投影的名称,系统自动生成。
    • 输入字段:订阅事件的所有事件参数。选择所需的参数,单击,选中的参数会出现在“输出字段”中。
    • 输出字段:从订阅事件的事件参数进行筛选后,用到的事件参数。

  7. 从“图元”中,拖拽“过滤”图元至左侧画布区域投影下方,并在弹出的“添加过滤器”页面配置基本信息和过滤条件,单击“保存”。

    图5 设置过滤条件
    • 标签:新建过滤的标签名,用于在界面展示。
    • 名称:新建过滤的名称,系统自动生成。
    • 条件设置:设置过滤条件。例如,图中的配置表示提取温度大于60度的事件。
      • 字段:上一步筛选后的事件参数。
      • 比较符:操作符,直接在下拉框中选择。
      • 值:字段值。

  8. (可选)从“图元”页面中,拖拽“分组”图元至左侧画布区域过滤器下方,并在弹出的“添加分组器”页面配置基本信息和分组条件,单击“保存”。

    图6 “添加分组器”页面配置
    • 标签:新建分组的标签名,用于在界面展示。
    • 名称:新建分组的名称,系统自动生成。
    • 分组设置:设置分组条件。例如,图中配置表示按照相同位置的大于60度的温度取温度平均值。

  9. 在“图元”页面右侧,拖拽输出源中的Kafka图元至左侧画布区域最下方,设置spark streaming输出事件和输出事件数据的接收方,单击“保存”。

    可以拖拽多个Sink中的Kafka图元,设置多个事件接收方。
    图7 数据接收方配置
    • 标签:数据接收方Kafka的标签名,用于在界面展示。
    • 名称:数据接收方Kafka的名称,系统自动生成。
    • 事件:spark streaming输出的事件。本示例此处配置为高温报警事件“fire_alarm”。温度监测事件“temperature”中的“position”,对应高温报警事件“fire_alarm”中的“positionalarm”。温度监测事件的“temperature”,对应高温报警事件“fire_alarm”中的“temperaturealarm”。
    • 发送到外部:是否发送到外部Kafka。若关闭该开关,表示发送到与AstroZero相连的Kafka。若打开该开关,表示发送到外部Kafka,需要配置“Kafka集群地址”“订阅主题”。本示例中关闭该开关,使用与AstroZero相连的Kafka。
      • Kafka集群地址:接收事件的Kafka集群地址,例如10.136.14.56:9092。

        多个节点服务器地址可用“,”间隔,格式为“Kafka节点1ip:节点1端口号,Kafka节点2ip:节点2端口号,...”。

        获取Kafka的IP和端口号方法:登录每台Kafka节点服务器,查看“${KAFKA_HOME}/config”目录下,“server.properties”中“listeners”的取值。

        接收事件的kafka集群,不需要一定配置为和AstroZero相连。

      • 订阅主题:接收事件数据的kafka Topic,例如__BINGO_PROD_SYS_TOPIC。
    • 事件属性/属性、值:配置输出事件与接收事件中,已定义参数的对应关系。

  10. 单击页面右上方保存按钮,设置“事件流”基本参数。

    图8 该“事件流”基本参数页面
    • 标签:新建事件流的标签名,用于在界面展示。
    • 名称:新建事件流的名称,系统自动生成。
    • 描述:新建事件流的描述信息。

  11. 单击页面上方的,启用事件流。
support.huaweicloud.com/usermanual-astrozero/astrozero_05_0084.html