检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺省，就会报：value too
联系SRE查看cdm后台日志：/var/log/cdm/local/framework.log，搜索关键字：cluster running task，如果运行的并发数与available的并发数一致，则说明此时并发数已到达集群上限。 集群内存使用达到阈值 联系SRE查看cdm后台日志：/var/log/cdm/local/framework
设置CDM告警规则 操作场景 通过设置CDM集群告警规则，用户可自定义监控目标与通知策略，及时了解CDM集群运行状况，从而起到预警作用。 设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。
云搜索服务对于时间类型有一个特殊处理：如果存储的时间数据不带时区信息，在Kibana可视化的时候，Kibana会认为该时间为GMT标准时间。 在各个地区会产生日志显示时间与本地时区时间不一致的现象，例如，在东八区某地，日志显示时间比本地时区时间少8个小时。因此在CDM迁移数据到云搜索服务的时候，如果是通过CDM
原因分析 除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 作业配置了导入前清空数据，dws表存量数据多，卡在truncate table操作步骤中，默认5分钟超时。 解决方案
MRS集群和CDM集群之间网络互通，网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组
DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射 CDM在Hive中自动建表时，Hive表与源表的字段类型
置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从
MRS集群和CDM集群之间网络互通，网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组
扩大字符字段长度 当选择自动创表时，迁移过程中可将字符类型的字段长度扩大为原来的3倍，再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样，但目的表字符类型字段与源表一样，在迁移数据时，可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时，需要自动将字符长度放大3倍。
置如下参数。 加密方式：选择“AES-256-GCM”。 数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从
问题描述 在使用CDM从HBase/CloudTable导出数据时，在字段映射界面HBase/CloudTable表的字段偶尔显示不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema，每条数据的列数不固定，在字
connectTimeout=60与socketTimeout=300：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位s），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数
QL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。 图1 大数据迁移上云 数据批量入湖 这个场景支持用户本地数据全量和T+1增量入湖。 图2 数据批量入湖
如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性
DM集群与待连接的数据源能正常通信。用户可以根据CDM迁移的数据源端、目的端所处网络进行选择： 如果CDM集群与待连接的数据源所属不同的VPC，或者待连接的为本地数据源时，CDM集群需要绑定EIP，通过公网通信。 如果待连接的数据源为云上服务，则推荐CDM集群的网络配置与该云服务
最大抽取并发数 定时备份/恢复 作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：
在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。
在这个过程中，CDM支持使用MD5检验文件一致性。 抽取时 该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。
支持整库迁移的数据源请参见支持的数据源。 约束限制 配置源端和目的端参数时，字段名不可包含&和%。 前提条件 已新建连接，详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 选择“整库迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
