Enhanced NiFi-


版本: V1.0 | 交付方式: 镜像 |
适用于: Linux | 上架日期: 2023-03-08 07:35:05 |
Enhanced NiFi
简介
NiFi 是一个易于使用、功能强大而且可靠的流式数据处理和分发系统。NiFi 是为数据流设计,支持从多种数据源动态的拉取数据,并基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。 本 镜像 基于NiFi的扩展机制,提供针对华为 云服务 的扩展,目前支持华为云服务如下:
OBS
ListOBSProcessor
从obs桶中检索对象列表。对于列出的每个对象,创建一个表示该对象的FlowFile,以便与FetchOBSObject一起获取。此处理器设计为仅在集群中的主节点上运行。如果主节点发生了变化,新的主节点将从前一个节点停止的位置开始,而不会复制所有数据
FetchOBSProcessor
检索OBS对象的内容并将其写入到FlowFile的内容中
PutOBSProcessor
从输入的FlowFile中获取文件流,上传到OBS的指定桶,输入可以是FetchOBSProcessor也可以是其他任意包含文件Content的输入;支持大文件切分上传,当异常时可以以最小的损失恢复大型上传
DeleteOBSProcessor
根据输入的FlowFiles删除华为云OBS桶上的文件。如果试图删除一个不存在的文件,FlowFile将被路由到成功。
[备注] 更加详细的使用以及参数明细,请阅读对应Processor的Usage文档