-
DES迁移一个月前的历史数据 - 云数据迁移 CDM
数据都是完整的。 再检查网络是否连通。 检查客户的HDFS集群。检查是否有指标异常的现象,如果有,则需要暂停迁移任务。 父主题: 案例:车联网大数据业务上云
-
配置MongoDB连接 - 云数据迁移 CDM
MongoDB连接适用于第三方云MongoDB服务,以及用户在本地数据中心或ECS上自建的MongoDB,常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
-
支持的监控指标 - 云数据迁移 CDM
该指标用于统计测量对象的CPU使用率。 单位:%。 0%~100% CDM集群实例 1分钟 mem_usage 内存使用率 该指标用于统计测量对象的内存使用率。 单位:%。 0%~100% CDM集群实例 1分钟 pg_pending_job 排队作业数 该指标用于统计该CDM实例中处于PENDING状态的作业数。
-
认证证书 - 云数据迁移 CDM
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
-
管理单个作业 - 云数据迁移 CDM
查看作业的历史执行记录、读取和写入的统计数据,在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面,选择“更多 > 日志”来查看该作业最近的一次日志。 查看作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 源目的统计查询
-
与其他云服务的关系 - 云数据迁移 CDM
网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 CPU使用率 该指标用于统计测量对象的CPU使用率。
-
HBase连接 - 云数据迁移 CDM
String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight
-
HDFS连接 - 云数据迁移 CDM
String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight HD时,需要配置Manager平台的端口。 linkConfig.casPort 否 String 连接FusionInsight
-
Kafka连接 - 云数据迁移 CDM
鉴权参数。 linkConfig.user 是 String 登录MRS Manager平台的用户名。 linkConfig.password 是 String 登录MRS Manager平台的密码。 linkConfig.authType 是 枚举 认证类型,分为以下两种: S
-
FTP测试连通性失败,报服务器内部错误怎么解决? - 云数据迁移 CDM
FTP测试连通性失败,报服务器内部错误怎么解决? 问题描述 ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录,安全组21、20端口正常放通,但是在创建FTP的数据连接报服务器内部错误。 解决方案 查询后台日志,报错为连接超时,截图如下,可能是安全组限制
-
MySQL整库迁移到RDS服务 - 云数据迁移 CDM
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理
-
MySQL整库迁移到RDS服务 - 云数据迁移 CDM
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。 已在CDM集群的“作业管理
-
作业源端是Oracle时,运行时间过长报snapshot too old怎么解决? - 云数据迁移 CDM
作业源端是Oracle时,运行时间过长报snapshot too old怎么解决? 是Oracle的约束限制导致,迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION,同时调整UNDO表空间大小即可。 父主题: 故障处理类
-
查询作业执行历史 - 云数据迁移 CDM
apache.sqoop.submission.counter.SqoopCounters counter object 作业运行结果统计,请参见统计结果参数说明。 表7 counter 参数 参数类型 描述 BYTES_WRITTEN Long 写入的字节数 TOTAL_FILES
-
写ES报timeout waiting for connection from pool错误怎么解决? - 云数据迁移 CDM
写ES报timeout waiting for connection from pool错误怎么解决? 问题描述 写ES报timeout waiting for connection from pool,且日志中输出多个es_rejected_execution_exception。
-
查询作业状态 - 云数据迁移 CDM
apache.sqoop.submission.counter.SqoopCounters counter object 作业运行结果统计,请参见统计结果参数说明。 表6 counter 参数 参数类型 描述 BYTES_WRITTEN Long 写入的字节数 TOTAL_FILES
-
云数据迁移 CDM - 云数据迁移 CDM
数据迁移进阶实践 通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 案例:车联网大数据业务上云 案例:贸易数据统计与分析 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用
-
Hive连接 - 云数据迁移 CDM
HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名,使用集群配置时不用配置 linkConfig.password 否 String 登录Manager平台的密码,使用集群配置时不用配置 linkConfig.uri 否 String 连接Apache
-
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? - 云数据迁移 CDM
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
-
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 - 云数据迁移 CDM
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 问题描述 创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。