检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。 前提条件 CDM集群正常运行。 重启失败、不可用状态的集群，无法查看其监控指标。当集群再次启动或恢复后，即可正常查看。 CDM集群已正常运行一段时间（约10分钟）。
是否支持增量迁移？ 问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 功能类
在cdm中使用StringUtils.defaultIfEmpty(value,"0000-00-00 00:00:00")表达式期望将空字符串转换为时间格式，但是没有生效。 解决方案 客户侧的null是null字符串，而非null空值，所以null字符串无法转化，null空值的查询条件是 is
解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息 单击“连接管理”，在“操作”列中，单击“连接”进行编辑。 图3
能存储最多2GB的字符数据。 不支持 不支持 日期时间 date 7字节的定宽日期/时间数据类型，其中包含7个属性：世纪、世纪中的哪一年、月份、月中的哪一天、小时、分钟、秒。 DATE TIMESTAMP timestamp 7字节或11字节的定宽日期/时间数据类型，它包含小数秒。 TIMESTAMP
能存储最多2GB的字符数据。 不支持 不支持 日期时间 date 7字节的定宽日期/时间数据类型，其中包含7个属性：世纪、世纪中的哪一年、月份、月中的哪一天、小时、分钟、秒。 DATE TIMESTAMP timestamp 7字节或11字节的定宽日期/时间数据类型，它包含小数秒。 TIMESTAMP
CDM支持配置每几天执行一次作业。 重复周期（天）：从开始时间起，每多少天执行一次作业。 有效期：分为开始时间和结束时间。 开始时间：表示定时配置生效的时间，也是第一次自动执行作业的时间。 结束时间：该参数是可选参数，表示停止自动执行的时间。如果不配置，则表示一直自动执行。 图3 重复周期为天
如果大量CDM作业同时执行，当超过当前CDM集群的并发执行作业数时，会导致作业排队，耗时提升。 建议您将迁移作业的运行时间错开，平摊在业务周期内，避免资源紧张导致迁移时间过长。 调整抽取并发数 对于低任务量场景，调整抽取并发数是性能调优的最佳方式。CDM迁移作业支持设置作业抽取并发数，同时也可以设置集群最大抽取并发数。
5 问题描述 使用CDM迁移Oracle数据至DWS，报错图1所示。 图1 报错现象 原因分析 数据迁移，整表查询且该表数据量大，那么查询时间较长。 查询过程中，其他用户频繁进行commit操作。 Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。
存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期：指客户的包周期资源到期未续订或按需资源欠费时，华为云提供给客户进行续费与充值的时间，宽限期内客户可正常访问及使用云服务。 保留期：指宽限期到期后客户的包周期资源仍未续订或按需资源仍未缴清欠款，将进入保留期。保留期内客户不
CDM所提供的API为自研API。通过配合使用CDM自研API，您可以使用CDM的如下功能。 表1 CDM API概览 类型 API 说明 用户流量限制（单位时间内的单个 用户请求次数上限） 集群管理API 创建集群 创建CDM集群。 5次/min 查询集群列表 查询并显示集群列表。 120次/min
月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。 表1 CDM集群规格 实例类型 核数/内存 最大带宽/基准带宽
就会有批量数据更新，考虑是迁移任务没有完成，源库已经更新，回滚超时。 Oracle报错ORA-01555，数据迁移如果做整表查询，并且查询时间较长时，这个过程有其他用户进行频繁commit操作，Oracle的RBS还比较小，就有可能出现这个问题，详细分析可以参考帖子：https://blog
待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。 分批配置迁移任务，保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。
”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据
保持作业基本参数不变，单击“下一步”修改任务参数，如图1所示。 图1 定时任务配置 勾选“是否定时执行”，配置定时任务： “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移，但因为“重复文件处理方式”选择了“跳过重复文件”，相同名称且相同大小的
"}。 created String 集群创建时间，格式为ISO8601：YYYY-MM-DDThh:mm:ssZ。 bakExpectedStartTime String 开始时间。 bakKeepDay Integer 保留时间。 name String 集群名称。 statusDetail
fromJobConfig.startTime 否 String 时间区间左边界（包含该值），格式为“yyyy-MM-dd hh:mm:ss”。 表示只抽取该时间及以后的数据。 fromJobConfig.endTime 否 String 时间区间右边界（不包含该值），格式为“yyyy-MM-dd
不设置则不切分。 | 起始时间 可选参数，起始时间（包含该值），格式为“yyyy-MM-dd HH:mm:ss”，表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量，使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明：
是 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于等于该时间才会被传输，输入的时间格式需为“yyyy-MM-dd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
