数据湖探索 DLI-DIS输出流:关键字

时间：2024-07-01 21:07:21

数据湖探索 DLI

关键字

表1 关键字说明
参数	是否必选	说明
type	是	输出通道类型，dis表示输出到数据接入服务。
region	是	数据所在的DIS所在区域。
ak	否	访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。
sk	否	Secret Access Key，与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。
channel	是	DIS通道。
partition_key	否	数据输出分组主键，多个主键用逗号分隔。当该参数没有配置的时候则随机派发。
encode	是	数据编码格式，可选为“csv”、“json”和“user_defined”。说明：若编码格式为“csv”，则需配置“field_delimiter”属性。若编码格式为“json”，则需使用“enable_output_null”来配置是否输出空字段，具体见示例。若编码格式为“user_defined”，则需配置“encode_class_name”和“encode_class_parameter”属性。
field_delimiter	是	属性分隔符。当编码格式为csv时，需要设置属性分隔符，用户可以自定义，如：“，”。当编码格式为json时，则不需要设置属性之间的分隔符。
json_config	否	当编码格式为json时，用户可以通过该参数来指定json字段和流定义字段的映射关系，格式为“field1=data_json.field1; field2=data_json.field2”。
enable_output_null	否	当编码格式为json时，需使用该参数来配置是否输出空字段。当该参数为“true”表示输出空字段（值为null），若为“false”表示不输出空字段。默认值为“true”。
encode_class_name	否	当encode为user_defined时，需配置该参数，指定用户自实现编码类的类名（包含完整包路径），该类需继承类DeserializationSchema。
encode_class_parameter	否	当encode为user_defined时，可以通过配置该参数指定用户自实现编码类的入参，仅支持一个string类型的参数。