检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CDM迁移数据表的作业，执行从MySQL数据库迁移表到DWS的任务。 操作步骤 在集群管理界面，找到步骤1：创建集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”，进入作业管理界面。 选择“表/文件迁移 > 新建作业”，配置作业基本信息。 图1 新建作业
DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
的属性，可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数如表2所示。 表2
使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤： 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务，每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据，支撑H公司客户进行贸易统计分析。
files_read 否 Integer 已读文件数。由系统生成，用户无需填写。 update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202
Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支
故障恢复 CDM集群支持定时备份功能。 定时备份开启后可以将作业定时备份到OBS上，当服务故障后，可以通过作业导入功能恢复作业。 父主题： 安全
Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String
DIS分区ID，该参数支持输入多个分区ID，使用“,”分隔。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.separator 否 String 字段分隔符。
Database 21c (21.3) drivers）。 解决方案 推荐使用Oracle Database 12c中的ojdbc8.jar驱动，下载地址：https://www.oracle.com/database/technologies/jdbc-ucp-122-downloads
L表达式传递动态参数来调度CDM作业。 本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。 本示例以执行迁移Oracle数据到MRS Hive的CDM作业为例，介绍通过数据开发使用参数传递功能灵活调度CDM作业。 前提条件 已购买数据集成增量包。 创建CDM迁移作业
files_read 否 Integer 已读文件数。由系统生成，用户无需填写。 update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202
files_read 否 Integer 已读文件数。由系统生成，用户无需填写。 update-user 否 String 最后更新作业的用户。由系统生成，用户无需填写。 external_id 否 String 具体执行的作业id，如果是本地作业，则一般为"job_local1202
CDM迁移数据到DWS时如何选取分布列？ 问题描述 CDM迁移数据到DWS时如何选取分布列？ 解决方案 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 JSON格式：以JSON格式解析源数据。 二进制格式 字段分隔符
32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。
的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时，选择需要进行的插入行为操作。 新增：将文件记录直接插入指定的集合。 有则新增，无则替换：以指定的过滤键作为查询条件。如果在集合中找到匹配的记录，则替换该记录（找到多条匹配记录时，只
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置：在创建表/文件迁移作业时，如果源端为关系型数据库，那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理：通过“Where子句”参数可以配置一个SQL语句（例如：age
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
