数据湖探索 DLI-DIS输出流:关键字

时间:2024-11-16 13:21:40

关键字

表1 关键字说明

参数

是否必选

说明

type

输出通道类型,dis表示输出到 数据接入服务

region

数据所在的DIS所在区域。

ak

访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证

sk

Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证

channel

DIS通道。

partition_key

数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。

encode

数据编码格式,可选为“csv”“json”“user_defined”

说明:
  • 若编码格式为“csv”,则需配置“field_delimiter”属性。
  • 若编码格式为“json”,则需使用“enable_output_null”来配置是否输出空字段,具体见示例。
  • 若编码格式为“user_defined”,则需配置“encode_class_name”“encode_class_parameter”属性。

field_delimiter

属性分隔符。

  • 当编码格式为csv时,需要设置属性分隔符,用户可以自定义,如:
  • 当编码格式为json时,则不需要设置属性之间的分隔符。

json_config

当编码格式为json时,用户可以通过该参数来指定json字段和流定义字段的映射关系,格式为“field1=data_json.field1; field2=data_json.field2”。

enable_output_null

当编码格式为json时,需使用该参数来配置是否输出空字段。

当该参数为“true”表示输出空字段(值为null),若为“false”表示不输出空字段。默认值为“true”。

encode_class_name

当encode为user_defined时,需配置该参数,指定用户自实现编码类的类名(包含完整包路径),该类需继承类DeserializationSchema。

encode_class_parameter

当encode为user_defined时,可以通过配置该参数指定用户自实现编码类的入参,仅支持一个string类型的参数。

support.huaweicloud.com/sqlref-flink-dli/dli_08_0241.html