MAPREDUCE服务 MRS-管理Loader作业:创建作业

时间：2024-07-24 15:45:55

MAPREDUCE服务 MRS 使用Loader

在“字段映射”填写字段对应关系。然后执行7。

“字段映射”的对应关系，表示用户数据中每一列与数据库的表字段的匹配关系。

表1 “字段映射”属性
参数	说明
列号	表示业务数据的字段顺序。
样本	表示业务数据的第一行值样例。
列族	“目的连接”为hbase-connector类型时，支持定义保存数据的具体列族。
目的字段	配置保存数据的具体字段。
类型	显示用户选择字段的类型。
行键	“目的连接”为hbase-connector类型时，需要勾选作为行键的“目的字段”。

如果From是sftp/ftp/obs/hdfs等文件类型连接器，Field Mapping 样值取自文件第一行数据，需要保证第一行数据是完整的，Loader作业不会抽取没有Mapping上的列。

在“任务配置”填写作业的运行参数。

表2 Loader作业运行属性
参数	说明
抽取并发数	设置map任务的个数。
加载(写入)并发数	设置reduce任务的个数。该参数只有在目的字段为Hbase和Hive时才会显示。
单个分片的最大错误记录数	设置一个错误阈值，如果单个map任务的错误记录超过设置阈值则任务自动结束，已经获取的数据不回退。说明： “generic-jdbc-connector”的“MYSQL”和“MPPDB”默认批量读写数据，每一批次数据最多只记录一次错误记录。
脏数据目录	设置一个脏数据目录，在出现脏数据的场景中在该目录保存脏数据。如果不设置则不保存。