-
项目ID和账号ID - 云数据迁移 CDM
cd180d14e684b", "name": "region-name", "description": "", "links": { "next": null,
-
批量管理作业 - 云数据迁移 CDM
作业脚本保存下来,仅在需要的时候再重新创建集群和重新导入作业。 批量创建作业任务:可以先手工创建一个作业,导出作业配置(导出的文件为JSON格式),然后参考该作业配置,在JSON文件中批量复制出更多作业,最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面,单击左侧导航
-
脏数据导致CSV数据类型问题插入MySQL报错 - 云数据迁移 CDM
常 (或让客户提供作业日志,或客户界面导出全量日志)。 分析源端数据类型,发现源端数据类型中有脏数据,源端数据类型有问题. 在CDM作业中配置脏数据功能,作业重跑成功,OBS桶排查脏数据类型存在问题,格式不匹配。 父主题: 故障处理类
-
源端为关系数据库 - 云数据迁移 CDM
据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *
-
MySQL迁移时报错:invalid input syntax for integer: "true" - 云数据迁移 CDM
"true" Where: COPY sd_mask_ext, line 1, column mask_type. 原因分析 MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。
-
Oracle迁移到DWS报错ORA-01555 - 云数据迁移 CDM
icle/details/6432182。 解决方案 三种解决办法: 调小每次查询的数据量。 调大Oracle数据的RBS,需要修改数据库配置。 减少频繁的commit操作,这个需要调整生产业务逻辑,基本不可能。 父主题: 故障处理类
-
读Hudi作业长时间出于BOOTING状态怎么解决? - 云数据迁移 CDM
CDM在作业BOOTING阶段无法查看日志,如果找不到Yarn任务,请联系CDM运维查看后台日志,获取Application ID。日志形如: 问题原因2:作业配置了导入前清空数据,dws表存量数据多,卡在truncate table操作步骤中,默认5分钟超时。 问题排查2:联系CDM运维查看后台日志。
-
指定文件名迁移 - 云数据迁移 CDM
名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,
-
指定文件名迁移 - 云数据迁移 CDM
名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,
-
文件格式介绍 - 云数据迁移 CDM
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间
-
字段映射界面无法显示所有列怎么处理? - 云数据迁移 CDM
面的“更多 > 编辑作业JSON”。 在CDM界面编辑作业的JSON文件。 修改源端的“fromJobConfig.columns”参数,配置为1获取的HBase的字段,列号之间使用“&”分隔,列族与列之间用“:”分隔,如下: "from-config-values": {
-
文件格式介绍 - 云数据迁移 CDM
hits”,然后在作业第二步添加转换器,操作步骤如下: 单击添加字段,新增一个字段。 图2 添加字段 在添加的新字段后面,单击添加字段转换器。 图3 添加字段转换器 创建“表达式转换”的转换器,表达式输入“1.0”,然后保存。 图4 配置字段转换器 二进制格式 如果想要在文件系统间
-
MRS中恢复HBase表 - 云数据迁移 CDM
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置: “源目录或文件”输入:/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入:/h
-
目的端为关系数据库 - 云数据迁移 CDM
据追加写入。 shouldClearTable:写入数据前会清除目标表中数据。 whereClause:选择根据where条件删除时,需要配置“toJobConfig.whereClause”参数,CDM根据条件选择性删除目标表的数据。 toJobConfig.whereClause
-
权限及授权项说明 - 云数据迁移 CDM
如果您需要对您所拥有的CDM服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。如果云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CDM服务。 默认情况下,新建的IAM
-
迁移HDFS文件,报错无法获取块怎么处理? - 云数据迁移 CDM
迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.B
-
创建CDM自定义策略 - 云数据迁移 CDM
] } 示例3:多个授权项策略 一个自定义策略中可以包含多个授权项,且除了可以包含本服务的授权项外,还可以包含其他服务的授权项,可以包含的其他服务必须跟本服务同属性,即都是项目级服务或都是全局级服务。多个授权语句策略描述如下: { "Version": "1.1",
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。
-
支持的数据源(2.9.2.200) - 云数据迁移 CDM
对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。