检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明： 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景：连接定义文件在OBS上的路径，连接定义文件的格式参考导出连接的响应消息。 无OBS场景：连接定义文件在本地的路径。 params 否 List<Params> 连接参数，默认值为空。 sameNamePolicy
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S
后的表生效。 上传模板 选择所需导入的文件。所需导入的文件，可以通过以下两种方式获得。 下载关系建模导入模板并填写模板 在“导入配置”页签内，单击“下载关系建模导入模板”下载模板，然后根据业务需求填写好模板中的相关参数并保存。 导出的表文件 您可以将某个DataArts Stud
查看作业执行结果及最近30天内的历史信息，包括历史执行记录、读取和写入的统计数据，在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面，选择“更多 > 日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件，作用等同于修改作业的参数配置。
新建整库迁移作业 操作场景 CDM支持在同构、异构数据源之间进行整库迁移，迁移原理与新建表/文件迁移作业相同，关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。 整库迁移作业每次运行，会根据整库
性能调优 概述 根据数据迁移模型分析，除了源端读取速度、目的端写入性能、带宽优化外，您也可以通过如下方式优化作业迁移速度： 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求，或当前CDM集群的CPU使用率、磁盘使用率、内
HBase、Apache HBase或者CloudTable导出数据时，源端作业参数如表1所示。 CloudTable或HBase作为源端时，CDM会读取表的首行数据作为字段列表样例，如果首行数据未包含该表的所有字段，用户需要自己手工添加字段。 由于HBase的无Schema技术特点，CDM
对于表迁移，宽表的迁移速度较慢，字符串类型越多（字段大小）迁移速度越慢。 对于文件而言，总大小相同时，大文件迁移较快，多个小文件迁移较慢。 对于消息而言，消息内容越多，所占带宽越高，每秒事务（TPS）越低。 源端读取速度 取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。
需审批，审批通过后采取数据水印技术生成可外发数据文件。 数据版权保护 通过在关系数据库中嵌入代表所有权的水印信息，可以将数据库与其拥有者联系起来，从而实现数据的版权保护。 对泄露数据进行快速溯源 通过对泄露数据文件解封，根据数据文件的完整度和水印信息痕迹来检测水印是否存在，快速识
请输入“\t”。 , 高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置，用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll
速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。 多并发抽取/写入速率，定义为分别取作业抽取并发数为1、
String 登录CloudTable集群的访问标识。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 linkConfig.securityKey 是 String 登录CloudTable集群的密钥。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 父主题： 连接参数说明
路径，CDM会将文件写入到该路径下。 文件格式：与源端一样，选择“二进制格式”，原始文件自身的格式不会改变。 重复文件处理方式：这里选择“跳过重复文件”。只有当源端和目的端存在文件名、文件大小都相同的文件时，CDM才会判定该文件为重复文件，这时CDM将跳过该文件，不迁移到OBS。
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 数据集成
问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 数据集成
缺失。 生成元数据xml文件是手动单击“生成元数据”触发的，如果在该节点在后续的作业调度运行中，点表和边表结构发生变化，元数据xml文件并不会随之更新，需要手动进入新建元数据窗口，再次单击“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件，属性（Property
FTP SFTP 连接FTP或SFTP服务器时，具体参数请参见FTP/SFTP连接参数说明。 HTTP 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时，只需要配置连接名称，具体URL在创建作业时配置。 MongoDB
配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.hiveVersion 是 枚举 Hive版本：
如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶，不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts S
如自动创表场景下，需提前在目的端表中手动创建时间日期字段或时间戳字段。 创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
