Airflow编排调度平台-
适用于：Linux
商品简介：Airflow是一个编排调度平台，用于以编程方式编写、计划和监控工作流，并提供Web界面，有助于管理工作流的状态。
商品亮点：提供开箱即用的Airflow服务，避免繁琐的环境变量配置和部署部分。,集成华为云OBS、DWS、CDM、DataArts、DLI、SMN服务。,图形化界面管理，高效清晰。
商品说明
| 版本: V1.0 | 交付方式: 镜像 |
| 适用于: Linux | 上架日期: 2023-04-10 09:25:05 |
Airflow编排调度平台，用于开发、调度和监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建与几乎任何技术连接的工作流。并提供Web界面，有助于管理工作流的状态。
本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Airflow服务，采用 镜像 部署的方式进行部署。使用Python代码实现管道的能力允许您使用Python中可以想象的任何东西创建任意复杂的管道。
Airflow工作流的主要特点是所有工作流都在 Python 代码中定义。“工作流即代码”有多种用途：
- 动态：Airflow 管道配置为 Python 代码，允许动态管道生成。
- 可扩展：Airflow 框架包含与众多技术连接的操作符。所有 Airflow 组件都是可扩展的，可以轻松适应您的环境。
- 灵活：工作流参数化是内置的，利用了Jinja模板引擎。
任务是基本的执行单位，包括从 数据库 中读取数据、处理数据、将数据存储在数据库中等。在Airflow中，有三种基本类型的任务：
- 运算符（Operator）：用于构建大多数任务（Tasks）的预定义模板。
- 传感器（Sensors）：一种特殊类型的Operator，旨在只做一件事——等待某事发生。它可以是基于时间的，或者等待一个文件，或者一个外部事件，但他们所做的只是等待，直到有事情发生，然后成功，这样他们的下游任务才能运行。
- 任务流（TaskFlow）：实现在数据管道中共享数据。
