-
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” - 云数据迁移 CDM
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务,从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户
-
作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? - 云数据迁移 CDM
CDM写Hudi为两段式,先写到hive临时表,然后再执行spark sql写到Hudi,写入行数统计的是写hive临时表的行数,当行数不再增长时,说明源端数据已经读完写到Hive表中,此时作业正在执行Spark SQL过程中,需要等Spark SQL执行完作业才会结束。 问题排查 打开日志,搜索insert
-
源端为对象存储 - 云数据迁移 CDM
否 String 记录节点,当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割,例如:“data.list”。 fromJobConfig
-
读Hudi作业字段映射多了一列col,作业执行失败怎么处理? - 云数据迁移 CDM
问题原因:使用Spark SQL写数据入hudi表,由于配置问题,表schema中会自动增加一列类型为array<string>,名称为col的列。 解决方案:字段映射中删去此列,如果是自动建表,SQL中也要把此列删去。 父主题: Hudi源端案例库
-
数据迁移前后数据量不一致是什么问题? - 云数据迁移 CDM
数据迁移前后数据量不一致是什么问题? 问题描述 使用CDM进行数据迁移,迁移完成后,目标库数据要比原始库多,有的多十几条,有的多几千条。 故障分析 根据故障信息分析,考虑是作业配置限制,检查作业配置,发现目的端配置为导入开始前“不清除”,不清除可能存在多次操作,部分数据重复。 解决方案
-
源端为FTP/SFTP - 云数据迁移 CDM
否 String 记录节点,当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割,例如:“data.list”。 fromJobConfig
-
Hudi表自动建表报错:schema不匹配,建表失败怎么办? - 云数据迁移 CDM
Hudi表自动建表报错:schema不匹配,建表失败怎么办? 问题描述 cdm迁移数据到hudi,hudi选择自动建表,执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in create
-
不支持数据类型转换规避指导 - 云数据迁移 CDM
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。
-
文件增量迁移 - 云数据迁移 CDM
适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。 如果配置了时间宏变量,通过DataArts Studio数据开发调度
-
文件增量迁移 - 云数据迁移 CDM
适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。 如果配置了时间宏变量,通过DataArts Studio数据开发调度
-
作业任务参数说明 - 云数据迁移 CDM
day:天 week:周 month:月 schedulerConfig.cycle 否 Integer 定时任务的周期,如果周期类型选择了“minute”,“cycle”输入“10”,就表示该定时任务每10分钟执行一次。 schedulerConfig.runAt 否 String
-
执行作业后(非失败重试),作业执行卡Running,但是数据写入行数一直显示为0如何处理? - 云数据迁移 CDM
执行作业后(非失败重试),作业执行卡Running,但是数据写入行数一直显示为0如何处理? 问题排查 打开日志,最后一行日志如下所示,则说明此时集群并发资源消耗殆尽,或者集群内存使用达到阈值,新提交的作业需要排队等待。 submit task attempt_local18473
-
字段转换器配置指导 - 云数据迁移 CDM
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。
-
字段转换器配置指导 - 云数据迁移 CDM
关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。
-
创建集群 - 云数据迁移 CDM
通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其
-
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? - 云数据迁移 CDM
当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败怎么解决? 问题描述 当Hudi表属性和hoodie.properties文件中分区信息不一致时,会导致数据写入失败. 解决方案 执行如下spark-sql语句修改hoodie.properties文件信息 call
-
配置LogHub(SLS)源端参数 - 云数据迁移 CDM
sls_link 日志库 目标日志库的名称。 - 单次查询数据条数 一次从日志服务查询的数据条数。 128 数据消费开始时间 数据消费的开始时间位点,即日志数据到达LogHub(SLS)的时间,yyyyMMddHHmmss格式的时间字符串。 说明: “数据消费开始时间”和“数据消费结束时间
-
新建MRS Hive连接时,提示:CORE - 云数据迁移 CDM
户,给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
-
性能调优 - 云数据迁移 CDM
也可以设置集群最大抽取并发数。 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能