检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行化处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口，一般是数据源提供的对外接口，例如JDBC、原生API等
是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为By
当CDM集群与其他云服务所在的区域不一致时，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外，如果创建了企业项目，则企业项目也会影响CDM集群与其他云服务的网络互
包，可以跳过这部分内容。 如果您需要再创建新的CDM集群，请参考购买批量数据迁移增量包章节，完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致，同时也要与云专线连通的VPC的一致。 其它参数可以自定义，或者保持默认。 创建CDH
M实例的隔离，提升CDM实例的安全性。 数据加密 用户数据源的访问信息（用户名和密码）存储在CDM实例的数据库中，并采用AES-256加密，CDM管理员无法访问。 数据删除 用户删除CDM实例时，存储在实例中的数据都会被删除，任何人都无法查看及恢复数据。
进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 或参考访问DataArts Studio实例控制台，登录DataArts
“是否写入脏数据”选择为“是”时，该参数才显示。 OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir
怎么处理？ Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？ Hudi目的端的作业失败，日志报错Read Timeout怎么解决？ Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？ Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？
访问一个项目（Project）及其内部日志数据的URL。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 - 项目 目标日志服务的项目名称，是日志服务中的资源管理单元，用于隔离和控制资源。 sls_project
详细使用方法请参见迁移文件时加解密。 AES-256-GCM 数据加密密钥 “加密方式”选择“AES-256-GCM”时显示该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD
的端数据库查看，数据存在问题，没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段，因为MongoDB是文档数据库，没有scheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数，可以把非公共的列封装为一个列。
string："false"。 故障分析 根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。 根据上一步字段映射分析，其中"support_gpu_instancing"字段源端为TI
单击“导入”，选择JSON格式的文件导入或文本导入。 文件导入：待导入的作业文件必须为JSON格式（大小不超过1M）。如果待导入的作业文件是之前从CDM中导出的，则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 文
EMA库的读权限，以及对数据表的读权限。 Oracle：需要该用户有resource角色，并在tablespace下有数据表的select权限。 达梦：具有该schema下select any table的权限。 DWS：需要表的schema usage权限和数据表的查询权限。 SQL
单击集群名称进入“现有集群”页面，查询弹性ip，如下图所示。 通过弹性IP地址，登录MRS集群后台。 用户名：admin 密码：创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip（wsom标志），如下图所示。 返回创建MRS连接界面，输入查询到的IP，创建连接成功。
登录CloudTable集群的访问标识。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 - SK 登录CloudTable集群的密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 - 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群
欢迎使用云数据迁移（Cloud Data Migration，以下简称CDM），该服务提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 您可以使用本文档提供的API对云数
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 通用类
其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。 如果作业出现大批量的失败： 先检查DES盒子是否被写满。如果写满，需要清除最近写入的目录，保证后面写入的数据都是完整的。 再检查网络是否连通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
