检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 问题描述 创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 父主题： 故障处理类
默认情况：取主键字段，如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。 由于客户作业中设置的并发数是8，程序选择IsDef作为分区字段，但是IsDef的类型是bit，不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可，参数："throttlingConfig
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？ 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 父主题： 故障处理类
其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。 如果作业出现大批量的失败： 先检查DES盒子是否被写满。如果写满，需要清除最近写入的目录，保证后面写入的数据都是完整的。 再检查网络是否连通。
单击“下一步”进行任务配置，其中抽取并发数默认为3，适当增加可以增加迁移速率，本例中设置为8，其它参数保持默认即可。 重复上述步骤创建其它迁移目录的作业，参数配置都相同。2个CDM集群的作业个数平均分配，并发执行。 作业执行完成后，可在作业的“历史记录”中查看详细的数据统计。 父主题： 车联网大数据零丢失搬迁入湖
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在 问题描述 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置，问题解决。
配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string 后作业跑成功，因为客户源端boolean类型的字段有空值，从而导致迁移失败。 2.8.6版本CDM集
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 解决方案 CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CD
高级属性里的可选参数保持默认。 目的连接名称：选择创建DLI连接中的“dlilink”。 资源队列：选择目的表所属的资源队列。 数据库名称：写入数据的数据库名称。 表名：写入数据的目的表。CDM暂不支持在DLI中自动创表，这里的表需要先在DLI中创建好，且该表的字段类型和格式
高级属性里的可选参数保持默认。 目的连接名称：选择创建DLI连接中的“dlilink”。 资源队列：选择目的表所属的资源队列。 数据库名称：写入数据的数据库名称。 表名：写入数据的目的表。CDM暂不支持在DLI中自动创表，这里的表需要先在DLI中创建好，且该表的字段类型和格式
statement is not equal to the table schema”。 原因分析 从metastore中删了表，但是文件没有清空，表的目录文件存在导致的，可能建的是外表。 解决方案 将表目录清空，再重新执行作业。 父主题： 故障处理类
使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导
使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导
timed out； 故障分析 作业配置中源端目标端均通过where语句多条件过滤，并非索引列，查询会全表扫描，且数据量在上亿行，数据量庞大，导致JDBC数据库连接失败，读取数据超时，进而导致sqoop异常，作业失败。 迁移作业是CDM作为客户端先从源数据中抽取部分数据，写到目标端，再进行
创建源数据连接，一直报错用户名和密码错误，但是实际填的没有错 问题描述 创建Mysql链接，确认过用户名、密码没有错，同样的配置，在roma上建立数据连接能成功。 故障分析 查看后端日志，考虑用户Mysql侧有白名单限制，测试内网相通的另一台ECS Mysql客户端使用这个用户链接。
Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？ 问题描述 打开日志，最后一行日志如下所示，则说明此时集群并发资源消耗殆尽，或者集群内存使用达到阈值，新提交的作业需要排队等待。 submit task attempt_local1847334969_1748_m_000003_0
RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常 问题描述 使用开源Mysql驱动连接RDS-Mysql，date范围小于1000-01-0的情况下，date数据转换异常。 图1 源端data的数据 图2 目的端data的数据 故障分析 RDS-Mysq
SQL过程中，需要等Spark SQL执行完作业才会结束。 原因分析 打开日志，搜索insert into，找到如下的日志，根据日志中打印的Yarn ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark SQL的速度与租户队
没有侦听端口，用户无法从VPC访问本地数据库或操作系统。 针对恶意用户的威胁：CDM对每个用户，使用单独的虚拟机来运行各自的CDM实例，用户之间的实例是完全隔离和安全的。恶意用户无法访问其他用户的实例。 针对数据暴露公网的威胁：CDM的抽取-写入模型下，即使CDM绑定了弹性IP，
racle的RBS还比较小，就有可能出现这个问题，详细分析可以参考帖子：https://blog.csdn.net/SongYang_Oracle/article/details/6432182。 解决方案 三种解决办法： 调小每次查询的数据量。 调大Oracle数据的RBS，需要修改数据库配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
