MAPREDUCE服务 MRS-Spark输入:参数说明

时间:2024-11-25 09:23:50

参数说明

表1 算子参数说明

参数

含义

类型

是否必填

默认值

Spark数据库

SparkSQL的数据库名称。

String

default

Spark表名

配置SparkSQL表名。

仅支持一个SparkSQL表。

String

分区过滤器

配置分区过滤器可以导出指定分区数据,默认为空,导出整个表数据。

例如导出分区字段locale的值为“CN”“US”的表数据,输入如下:

locale = "CN" or locale = "US"

String

-

Spark输入字段

配置SparkSQL输入信息:

  • 列名:配置SparkSQL列名。
  • 字段名:配置输入字段名。
  • 类型:配置字段类型。
  • 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”“CHAR”时实际长度不足则空格补齐,“类型”“VARCHAR”时实际长度不足则不补齐。

map

-

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1129.html