数据湖探索 DLI-DIS源表:参数说明
参数说明
参数 |
是否必选 |
说明 |
---|---|---|
connector.type |
是 |
数据源类型,“dis”表示数据源为 数据接入服务 ,必须为dis。 |
connector.region |
是 |
数据所在的DIS区域。 |
connector.ak |
否 |
访问密钥ID(Access Key ID),需与sk同时设置 |
connector.sk |
否 |
Secret Access Key,需与ak同时设置 |
connector.channel |
是 |
数据所在的DIS通道名称。 |
connector.partition-count |
否 |
读取从0分区开始计算的partition-count个通道范围内的数据。 该参数和partition-range参数不能同时配置。 当两个参数都没有配置的时候默认读取所有partition。 |
connector.partition-range |
否 |
指定作业从DIS通道读取的分区范围。该参数和partition-count参数不能同时配置。当两个参数没有配置的时候默认读取所有partition。 partition-range = "[0:2]"时,表示读取的分区范围是1-3,包括分区1、分区2和分区3,范围设置要在dis相应通道的范围内。 |
connector.offset |
否 |
用户可以根据需求设置该参数的数值,读取数据的起始位置,与start-time不能同时设置。 |
connector.start-time |
否 |
DIS数据读取从该起始时间的数据。 当该参数配置时则从配置的时间开始读取数据,有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start-time也没配置offset的时候,读取最新数据。 |
connector. enable-checkpoint |
否 |
是否启用checkpoint功能,可配置为true(启用)或者false(停用), 默认为false。 勿与offset或start-time同时设置;若enable-checkpoint为true,与checkpoint-app-name需要同时配置。 |
connector. checkpoint-app-name |
否 |
DIS服务的消费者标识,当不同作业消费相同通道时,需要区分不同的消费者标识,以免checkpoint混淆。 勿与offset或start-time同时设置;若enable-checkpoint为true,则需要同时配置。 |
connector. checkpoint-interval |
否 |
DIS源算子做checkpoint的时间间隔,默认为60s。格式为d、day/h、hour/min、minute/s、sec、second 勿与offset或start-time同时设置。 |
format.type |
是 |
数据编码格式,可选为“csv”、“json” |
format.field-delimiter |
否 |
属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 |