云数据迁移 CDM-配置DIS源端参数

时间:2024-12-05 16:56:52

配置DIS源端参数

消息体中的数据是一条类似 CS V格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

作业中源连接为DIS连接时,源端作业参数如所表1示。

表1 DIS作为源端时的作业参数

参数类型

参数

说明

取值样例

基本参数

DIS通道

DIS的通道名。

dis

是否持久运行

用户自定义是否永久运行。设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。

DIS分区ID

DIS分区ID,该参数支持输入多个分区ID,使用英文逗号(,)分隔。

0,1,2

偏移量参数

设置从DIS拉取数据时的初始偏移量:
  • 最新:最大偏移量,即拉取最新的数据。
  • 上次停止处:从上次停止处继续读取。
  • 最早:最小偏移量,即拉取最早的数据。

最新

APP名字

配置用户数据消费程序的唯一标识符,不存在时会自动创建。

cdm

数据格式

解析数据时使用的格式:

  • 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。
  • CSV格式:以CSV格式解析源数据。
  • JSON格式:以JSON格式解析源数据。

二进制格式

字段分隔符

数据格式为“CSV格式”时呈现此参数。默认为逗号,使用Tab键作为分隔符请输入“\t”

,

记录分隔符

数据格式为“CSV格式”“JSON格式”时呈现此参数。用于配置每条记录之间的分割符。

,

高级属性

最大消息数/poll

可选参数,每次向DIS请求数据限制最大请求记录数。

100

support.huaweicloud.com/usermanual-cdm/cdm_01_0086.html