云采用框架-设计:设计任务迁移方案

时间:2025-02-12 15:03:01

设计任务迁移方案

大数据的任务包括三类:Jar类任务、SQL类任务、脚本类任务(Python、Shell),可以根据不同的任务类型选择合适的迁移方案。

表4 任务类型和迁移方案

任务类型

迁移方案

JAR类任务

  • 所有Jar类任务都需要根据云上集群版本重新编译jar包,适配云上环境

SQL类任务

  • 同版本: Hive大版本相同,可平迁SQL类任务
  • 不同版本:Hive大版本不同,先平迁SQL类任务,然后根据版本语法变动,微调SQL语句以适配云上版本语法

脚本类任务

(Python、Shell)

  • 同调度平台:平迁脚本类任务
  • 不同调度平台:平迁脚本类任务,根据云上调度平台,对脚本进行适配改造,以适应新的调度平台运行环境
support.huaweicloud.com/usermanual-caf/caf_01_0170.html