-
CDM迁移DWS数据报错Read timedout怎么处理? - 云数据迁移 CDM
Read timed out; 故障分析 作业配置中源端目标端均通过where语句多条件过滤,并非索引列,查询会全表扫描,且数据量在上亿行,数据量庞大,导致JDBC数据库连接失败,读取数据超时,进而导致sqoop异常,作业失败。
-
案例:车联网大数据业务上云 - 云数据迁移 CDM
案例:车联网大数据业务上云 场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
-
MySQL数据迁移到MRS Hive分区表 - 云数据迁移 CDM
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
-
CDM迁移数据到DWS时如何选取分布列? - 云数据迁移 CDM
CDM迁移数据到DWS时如何选取分布列? 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
-
CDM未使用数据传输功能时,是否会计费? - 云数据迁移 CDM
CDM未使用数据传输功能时,是否会计费? CDM集群运行状态下,即便未使用也是正常计费的,如果长期不使用建议删除集群,需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题: 通用类
-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据: 云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。
-
CSV数据类型插入MySQL报错invalid utf-8 charater string '' - 云数据迁移 CDM
解决方案 后台排查sqoop日志,考虑源端数据类型格式问题导致异常。 分析源端数据类型,发现数据类型中有脏数据,源端数据类型有问题。 客户CDM界面配置脏数据功能,作业重跑成功,OBS桶排查脏数据类型存在问题,格式不匹配。 父主题: 故障处理类
-
连接参数说明 - 云数据迁移 CDM
OpenTSDB连接 DMS Kafka连接 父主题: 公共数据结构
-
Hive连接 - 云数据迁移 CDM
Hive连接 介绍 通过Hive连接,可以对MRS的Hive数据源进行抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
-
HBase连接 - 云数据迁移 CDM
如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。
-
DLI连接 - 云数据迁移 CDM
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。
-
DIS连接 - 云数据迁移 CDM
DIS连接 介绍 通过DIS连接可以与DIS建立连接,并按照用户指定配置将DIS中的数据迁移到其他数据源。
-
CloudTable连接 - 云数据迁移 CDM
如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。
-
HDFS连接 - 云数据迁移 CDM
如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。 选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。
-
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? - 云数据迁移 CDM
原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方法 在SQL Server数据库中建表时,将数据库字段改大,长度不能小于源端OBS中的数据长度。 父主题: 故障处理类
-
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? - 云数据迁移 CDM
如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 故障处理类
-
FTP/SFTP连接 - 云数据迁移 CDM
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
-
场景介绍 - 云数据迁移 CDM
迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HBase集群中共有854张表约400TB,备HBase集群中共有149张表,约10TB数据。最近一个月新增的数据量是60TB。
-
迁移准备 - 云数据迁移 CDM
准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。
-
作业任务参数说明 - 云数据迁移 CDM
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。