MAPREDUCE服务 MRS-Loader作业源连接配置说明:hdfs-connector

时间：2024-07-24 15:45:56

MAPREDUCE服务 MRS

表5 hdfs-connector数据源连接属性
参数	说明
源目录或文件	源数据实际存储的形态，可能是HDFS包含一个目录中的全部数据文件，或者是单个数据文件。
文件格式	Loader支持HDFS中存储数据的文件格式，默认支持以下两种： CS V_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。
换行符	源数据的每行结束标识字符。说明： hdfs作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。
字段分割符	源数据的每个字段分割标识字符。说明： hdfs作为源连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效。
文件分割方式	支持以下两种： File：按总文件个数分配map任务处理的文件数量，计算规则为“文件总个数/抽取并发数”。 Size：按文件总大小分配map任务处理的文件大小，计算规则为“文件总大小/抽取并发数”。