检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时，会将组内的所有作业都删除。 创建作业的任务配置中，如果已经将作业分配到了不同的分组中，则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。
前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。
日志信息 原因分析 这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度，一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时，就会出现错误：value too long
fromCompression 否 枚举 选择对应压缩格式的源文件进行迁移： NONE：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 fromJobConfig.compressedFileSuffix
触发时间（天）：选择每月的几号执行作业，该参数值取值范围是“1～31”，可配置多个值但不可重复，中间使用“,”分隔。 有效期：分为开始时间和结束时间。 开始时间：表示定时配置生效的时间。其中的时、分、秒也是每次自动执行的时间。 结束时间：该参数为可选参数，表示停止自动执行定时任务的时间。如果没有配置，则表示一直自动执行。
MRS：表示连接MRS的HDFS。 FusionInsight HD：表示连接FusionInsight HD的HDFS。 Apache Hadoop：表示连接开源Apache Hadoop的HDFS。 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode
1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量
DLI外表(OBS文件)迁移DWS某字段转义，带有“\” 问题描述 DLI 外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。 源端： 目的端： 故障分析 根据截图可以看出，源端样值中有符号：{ 括号 ”
参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 父主题： 配置连接参数
计，用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用CDM服务时，如果触发了监控列表中的关键操作，那么CTS会在记录操作日志的同时，向相关订阅者实时发送通知。
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 通用类
通过弹性IP地址，登录MRS集群后台。 用户名：admin 密码：创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip（wsom标志），如下图所示。 返回创建MRS连接界面，输入查询到的IP，创建连接成功。 创建MRS数据源连接时，认证类型要与MRS集群是否开启KERBEROS保持一致。
String 写入数据的表名，例如：“TBL_EXAMPLE”。 toJobConfig.storageType 是 枚举 将数据写入到HBase表中的方法： PUTLIST：put list方式写入。 toJobConfig.columns 否 String 需要抽取数据的列，列号之间
功能类 是否支持增量迁移？ 是否支持字段转换？ Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 数据源为Hive时支持哪些数据格式？ 是否支持同步作业到其他集群？ 是否支持批量创建作业？ 是否支持批量调度作业？ 如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？
初始化的连接）。 2. FTP服务器的21端口到大于1024的端口（服务器响应客户端的控制端口）。 3. FTP服务器的20端口到大于1024的端口（服务器端初始化数据连接到客户端的数据端口）。 4. 大于1024端口到FTP服务器的20端口（客户端发送ACK响应到服务器的数据端口）。
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。
tps_port”参数对应的端口。 如果MRS ClickHouse是安全集群，则需配置为https默认端口。 8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。
能正常通信。用户可以根据CDM迁移的数据源端、目的端所处网络进行选择： 如果CDM集群与待连接的数据源所属不同的VPC，或者待连接的为本地数据源时，CDM集群需要绑定EIP，通过公网通信。 如果待连接的数据源为云上服务，则推荐CDM集群的网络配置与该云服务一致，此时CDM集群不用绑定EIP，通过内网通信。
120次/min 修改作业 修改作业的参数。 120次/min 启动作业 启动数据迁移的任务。 1200次/min 停止作业 停止运行中的作业。 1200次/min 查询作业状态 查询并显示作业的运行状态。 120次/min 查询作业执行历史 查询并显示作业执行的历史状态。 120次/min
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
