检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已获取本地Elasticsearch数据库的服务器IP、端口、用户名和密码。 如果Elasticsearch服务器是在本地数据中心或第三方云上，需要确保Elasticsearch可通过公网IP访问，或者是已经建立好了企业内部数据中心到华为云的VPN通道或专线。 创建CDM集群并绑定EIP
数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。
迁移数据到DLI时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1
concurrentSubJobs参数（并发子作业数，新集群已取消这个配置项）。 让客户在导出的json 文件中将删除以下配置项，重新导入作业到新集群，导入成功。 { "name":"throttlingConfig.concurrentSubJobs", "value":"10" }
Hudi源端的作业长时间处于BOOTING状态怎么解决？ 问题描述 在Hudi源端读Hudi作业长时间处于BOOTING状态。 原因分析 除去Yarn队列资源问题，一般作业是卡在执行Spark SQL读Hudi写Hive临时表，这步执行的速度取决于Hudi表的数据量与Yarn队列剩余资源。 作业配置了导入前清空数
使用CDM迁移本地MySQL数据库中的表，写入到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务。 登录云服务器 快速入门场景介绍 初始化数据盘 什么是ECS 创建容器应用基本流程 05 实践 通过提供针对多种场景的迁移案例，方便您快速了解使用CDM完成批量数据迁移。 优秀实践
MySQL迁移时报错“JDBC连接超时”怎么办？ 问题描述 MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大，并且源端通过where语
迁移MySql到DLI字段类型转换报错For input string："false"怎么处理？ 问题描述 MySql-TO-DLI迁移报错，java.lang.NumberFormatException：For input string："false"。 故障分析 根据报错分析
根据分析，考虑是Mysql配置“max_allowed_packet”参数太小导致报错，参考以下链接排查，发现Mysql已经设置最大为1G，无法再增大。 据以上分析，发现未能解决，再次回顾排查过程，发现遗漏一点关键点，客户连接器参数配置，“一次请求行数”配置“3000”，可能会导致某批次查询数据超过1G，故而报错。
迁移HDFS文件，报错无法获取块怎么处理？ 问题描述 用户HDFS为线下自建的，往OBS迁移文件建立好连接器后，测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误： Error: java.io.IOException: org.apache.hadoop.hdfs.B
图3 选择连接器类型 连接器类型选择“Oracle”后单击“下一步”，配置Oracle连接参数： 名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用
图3 选择连接器类型 连接器类型选择“Oracle”后单击“下一步”，配置Oracle连接参数： 名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用
HANA集群只有部分节点和CDM集群网络互通，怎么办？ 解决方案 如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置： 关闭HANA集群的Statement Routing开关。但须注意，关闭Statement Routing，会增加配置节点的压力。 新建H
的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业，目的端作业配置下“自动创表”选择“不存在时创建”，则高级属性下面会出现参数“扩大字符字段长度”，配置该参数为“是”即可，如图2所示。 图2 扩大字符字段长度 父主题： 故障处理类
server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？ 问题描述 在使用CDM迁移数据到数据仓库服务（DWS）时，迁移作业失败，且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”，配置连接参数： 名称：用户自定义连接名称，例如：“rds_link”。 数据库服务器、端口：配置为RDS上MySQL数据库的连接地址、端口。 数据库名称：配置为RDS上MySQL数据库的名称。 用户名、密码：登录数据库的用户和密码。
源的数据上云，用户可以利用VPN和SSL技术来避免传输安全风险。 用户和网络隔离 CDM实例运行在用户独立的VPC内，VPC允许用户通过配置VPC入站IP范围，来控制连接CDM的IP地址段。CDM实例部署在用户VPC后，用户可以综合运用子网和安全组的配置，来完成CDM实例的隔离，提升CDM实例的安全性。
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ 问题描述 报错：hoodie table path not found。 报错：写入记录中存在空值，写入失败。 报错：killed by external signal。 报错：java.lang.IllegalArgumentException。
Hudi源端作业，读Hudi作业字段映射多了一列col，作业执行失败怎么处理？ 问题描述 读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
