MapReduce服务 MRS-Loader算子说明:转换流程

时间:2025-01-26 10:49:40

转换流程

Loader读取源端数据,通过输入算子将数据按规则逐一转换成字段,再通过转换算子,对这些字段做清洗或转换,最后通过输出算子将处理后的字段,输出到目标端。

  • 每个作业,如果进行数据转换操作,有且只能有一个输入算子,有且只能有一个输出算子。
  • 不符合转换规则的数据,将成为脏数据跳过。
  • 从关系型数据库导入数据到HDFS/OBS,可以不用配置数据转换,数据将按“,”分隔保存到HDFS/OBS。
  • 从HDFS/OBS导出数据到关系型数据库,可以不用配置数据转换,数据将按“,”分隔保存到关系型数据库。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1120.html