检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。
"cdm:cluster:get", "ecs:*:get*", "ecs:*:list*", "vpc:*:get*"
启用SSL认证后，Kafka会将Kafka Broker连接地址视做域名不断进行解析，导致性能消耗。建议修改CDM集群对应的ECS主机（通过集群IP查找对应的ECS主机）中的“/etc/hosts”文件，为其添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka
实例类型：用户按实际业务数据量选择实例规格。 cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限为32，适
format(yyyy-MM-dd, -1, DAY)}']表示抽取DS分区值为2024-07-15的数据。 其他场景请参见时间宏变量使用解析。 父主题： 配置CDM作业源端参数
ZONE TIMESTAMP WITH LOCAL TIME ZONE 用于存储一个本地时区的 TIMESTAMP 值，能够将标准时区类型 TIMESTAMP WITH TIME ZONE 类型转化为本地时区类型。 2002-12-12 09:10:21 +8:00'，'2002-12-12
选择操作列中的“更多 > 重启”。 图5 重启集群 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 选择“重启集群VM”后单击“确定”。 父主题： 创建并管理CDM集群
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：
该参数的数据类型为整型，单位为MB。 JSON格式 这里主要介绍JSON文件格式的以下内容： CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型：JSON对象、JSON数组。 JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。
传输数据时所用的文件格式，可选择以下文件格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式
update-user String 最后更新作业的用户。由系统生成，用户无需填写。 external_id String 具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。
CSV_FILE：CSV格式，用于迁移文件到数据表的场景。 JSON_FILE：JSON格式，一般都是用于迁移文件到数据表的场景。 BINARY_FILE：二进制格式，不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig
SOFTLY：一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断，并重启集群的虚拟机。 restartLevel 否 String 重启级别： SERVICE：重启服务。 VM：重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型，只支持“cdm”。
h:mm:ssZ。 name String 实例名称。 id String 实例ID。 flavor flavor object 节点的虚拟机规格，请参见flavor参数说明。 datastore Datastore object 集群信息，请参见datastore参数说明。 dbuser
update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。
荐您启用数据开发调度即可，无需配置CDM定时任务。 定时任务功能原理：采用Java Quartz定时器，类似Cron表达式配置。对起始时间解析出分，小时，天，月。构造出cronb表达式。 以配置天调度为例：重复周期选择1天：若当前时间2022/10/14 12:00，配置起始时间为2022/10/14
update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。
update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
