检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
rator权限，才能在CDM创建连接。 cdm 密码 访问MRS Manager的用户密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。
CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型：JSON对象、JSON数组。 JSON对象：JSON文件包含单个对象，或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false
cdm 密码 登录MRS Manager的密码。 - OBS支持 是否支持OBS存储，如果hudi表数据存储在OBS，需要打开此开关。 是 访问标识（AK） “OBS支持”设置为“是”时，呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。
”引号，等特殊符号，jdbc驱动会字段转义，导致目的端显示带有转义符号。 DLI外表及OBS桶存储，及文件到表迁移，可以考虑源端作业配置加上包围符号即可，包围符双引号“，单个双引号。 解决方案 在OBS作业源端参数配置中，配置开启使用包围符号，单个双引号“，开启使用包围符，选择“是”即可。
理。 对象存储服务（OBS）数据源约束 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时，单个作业的源端目录下的文件数量或对象数量，
Hudi目的端的作业失败，日志报错Read Timeout怎么解决？ 问题描述： 作业日志报错Read time out，日志如下： 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式，跳转3。 否则跳转2。 多租户模式下，确认其他租户的作业是否正常。
例如已开启后端连接，就可以查询到对应的后端连接详情。 在管理连接前，您需要确保该连接未被任何作业使用，避免影响现有作业运行。管理连接的操作流程如下： 进入CDM主界面，单击左侧导航上的“集群管理”，选择CDM集群后的“作业管理 > 连接管理”。 在连接管理界面找到需要修改的连接：
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？ 问题描述 使用CDM从OBS导入数据到SQL Server时，作业运行失败，错误提示为：Unable to execute the SQL statement
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？ 问题描述 报错：hoodie table path not found。 报错：写入记录中存在空值，写入失败。 报错：killed by external signal。 报错：java.lang.IllegalArgumentException。
功能总览 功能总览 全部 云数据迁移服务 集群管理 创建连接 作业管理 API 云数据迁移服务 云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据
使用原始日期格式来解析字符串，将字符串解析为一个日期对象。可以使用DateUtils.parseDate函数来解析，语法是：DateUtils.parseDate(String value, String format)。 将日期对象格式化成目标格式的字符串，可以使用DateUtils
数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在 问题描述 数据库写入OBS场景，表中小驼峰命名字段，提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致，分析是字段命名使用小驼峰，而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置，问题解决。
Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？ 问题描述 cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in
隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法：
Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？ 问题描述 CDM写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark
document中的多个字段为一个JSON串（多个字段合并成一个json串，当做一个字段到目的端）。 目的端数据库把同步过去数据，通过SQL分解处理。如下图。 这里不影响作业映射已有字段，combine()中是包含所有新增字段的json串，目的端sql进行处理即可获取数据。 父主题： 故障处理类
在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${
在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${
已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提前在目的端表中手动创建时间日期字段或时间戳字段。 创建表/文件迁移作业 在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图1 配置作业 单击“下
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
