检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
object 任务信息。 publicEndpoint String 集群绑定的EIP。 actionProgress ActionProgress object 集群操作进度，任务信息，由key、value组成。key值为正在进行的任务，value值为正在进行任务的进度。示例如
项目ID和账号ID 获取项目ID和账号ID 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，
Sync-Failure：配置失败。 actionProgress ActionProgress object 集群操作进度，任务信息，由key、value组成。key值为正在进行的任务，value值为正在进行任务的进度。示例如 "action_progress":{"SNAPSHOTTING":"16%"}。
into，找到如下的日志，根据日志中打印的Yarn ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark SQL的速度与租户队列资源强相关，在执行Hudi任务前，请确保租户队列资源充足。 父主题： 故障处理类
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景： 数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为DS
”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'。 图2 Where子句 配置定时任务：重复周期为1天，每天的凌晨0点自动执行作业。 这样就
去换行：将字段中的换行符（\n、\r、\r\n）删除。 作业源端开启“使用SQL语句”参数时不支持配置转换器。 单击“下一步”配置任务参数，单击“显示高级属性”展开可选参数。 图5 任务参数 各参数说明如表3所示。 表3 任务配置参数 参数 说明 取值样例 作业失败重试 如果作业执行失败，可选择自动重试三次或者不重试。
”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd,-1,DAY)}'。 图2 Where子句 配置定时任务：重复周期为1天，每天的凌晨0点自动执行作业。 这样就
max_filter_ratio=0 失败重试次数 配置失败重试的次数。 3 高级属性 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句，目前仅允许执行一条SQL语句。 merge into loader线程数
对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明。 value 是 Object 参数值，参数名对应的值，必须填写为字符串。 type 否 String 值类
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
C子网，请参考《共享VPC》。 子网 subnet-1 安全组 sg-1 企业项目 default 只有在企业项目管理界面创建了企业项目，这里才可以选择。 企业项目管理服务是一种云资源管理方式，具体请参见《企业管理用户指南》。 标签 cluster_owner:cdm 高级配置参数选择自定义时可配置标签参数。
数据”，CDM的事务模式不会回滚已经删除的数据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句，目前仅允许执行一条SQL语句。 merge into loader线程数
的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景： 数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为DS
参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。 是 DIS分区ID DIS分区ID，该参数支持输入多个分区ID，使用英文逗号（,）分隔。 0,1,2 偏移量参数
对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明。 value 是 Object 参数值，参数名对应的值，必须填写为字符串。 type 否 String 值类
ZIP：表示只传输ZIP格式的文件。 fromJobConfig.splitType 否 枚举 指定任务分片方式，选择按文件或文件大小进行分割。 FILE：按文件数量进行分片。例如有10个文件，并在任务参数中指定“throttlingConfig.numExtractors”（抽取并发数）为“5”，则每个分片2个文件。
对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明。 value 是 Object 参数值，参数名对应的值，必须填写为字符串。 type 否 String 值类
例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
