检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出，如有涉及，请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页，选
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配
超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 分支2 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。 ... 分支n 超时时间（ms） 表示当前分支执行超过配置的超时时间后，则将此分支置为失败状态。默认为0无时间限制。
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
在管理中心页面，单击“资源迁移”，进入资源迁移页面。 图1 资源迁移 单击“新建导出”，配置文件的OBS存储位置和文件名称。 图2 选择导出文件 单击“下一步”，勾选导出的模块。 图3 勾选导出的模块 单击“下一步”，等待导出完成，资源包导出到所设置的OBS存储位置。 图4 导出完成 导出资源耗时1分钟仍未显示结果
录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录 在OBS中存储文本文件的文件自定义目录，多级目录可用“/”进行分隔。 test1
能越长，请耐心等待。 图6 逻辑表预览 配置目的端参数。 图7 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则 表6 目标Topic名称规则 同步场景 配置方式 整库 配置源端MySQL库表与目的端Kafka To
目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT模式：批量更新入库模式
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。
一致时，需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时，可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注：如果配置了VPC对
Schema名和表名，其中表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图7 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张表会在
MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Spark作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。
dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： socketTimeout：配置JDBC连接超时时间，单位为毫秒。 mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true。
该参数表示抽取指定值的partition，属性名称为分区名称，属性值可以配置多个值（空格分隔），也可以配置为字段取值范围，接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入
SQL执行过程中的脏数据。 单击“请选择”按钮，您可以选择一个已创建的OBS桶和对象，系统将基于工作空间全局配置DLI脏数据OBS桶。 如果不配置该参数，DataArts Studio数据开发的DLI SQL脏数据默认存储在以“dlf-log-{projectId}”命名的OBS桶中。 标签 通过为资源添
创建中需要注意如下网络配置： VPC 虚拟私有云。专享版实例需要配置虚拟私有云（VPC），在同一VPC中的资源（如ECS），可以使用专享版实例的私有地址调用API。 在购买时专享版实例时，建议配置和您其他关联业务相同VPC，确保网络安全的同时，方便网络配置。 弹性公网IP 专享版
用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储，列之间的分隔符。 存储类型为列表时字串分割成数组的字符。 ; 字段相同 “值存储类型”选择“HASH”时，显示该参数，是否允许哈希键内有相同的字段。 否 父主题： 配置作业源端参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
