云数据迁移 CDM-源端为DIS:参数说明

时间:2024-01-09 16:27:14

参数说明

参数

是否必选

类型

说明

fromJobConfig.streamName

String

DIS的通道名。

fromJobConfig.disConsumerStrategy

枚举

设置从DIS拉取数据时的初始偏移量:

  • LATEST:最大偏移量,即最新的数据。
  • FROM_LAST_STOP:从上次停止处继续拉取。
  • EARLIEST:最小偏移量,即最早的数据。

fromJobConfig.isPermanency

Boolean

是否永久运行。

fromJobConfig.maxPollRecords

String

每次向DIS请求数据限制最大请求记录数。

fromJobConfig.shardId

String

DIS分区ID,该参数支持输入多个分区ID,使用“,”分隔。

fromJobConfig.dataFormat

枚举

解析数据时使用的格式:

  • BINARY:适用于文件迁移场景,不解析数据内容原样传输。
  • CS V:以CSV格式解析源数据。

fromJobConfig.separator

String

字段分隔符。

fromJobConfig.appName

String

用户数据消费程序的唯一标识符。

support.huaweicloud.com/api-cdm/cdm_02_0078.html