seatunnel集成工具-


版本: V1.1 | 交付方式: 镜像 |
适用于: Linux | 上架日期: 2023-08-07 10:01:09 |
SeaTunnel为一个超高性能的分布式 数据集成平台 ,本商品在原本Seatunnel的基础上额外拓展了一个connector-file-obs模块,其包含从华为云obs中读取数据的source插件和将数据传输到华为云obs的sink插件。可以轻松实现从各种不同的数据源读入数据和输出数据,并可在读入数据和输出数据的过程之间实现数据的转换。
Seatunnel通过运行配置文件来实现数据的集成,配置文件主要由4大部分组成:env,source,transform和sink。
env中用于配置引擎参数。source用于定义seatunnel获取数据的数据源,如GaussdbNosql,OBS,本地文件等。transform可以将source插件获取的数据进行进一步处理。sink用于定义seatunnel需要将数据输出到的位置,如GaussdbNosql,OBS,控制台等。在不同的数据源中进行转换,达到数据之间的 迁移 和同步。
除了自带的引擎外,Seatunnel还可以在Flink和Spark引擎上运行。