检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 问题描述 作业管理页面访问不了,提示“网络或服务器异常,请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常:如磁盘、内存、CPU。 如果CDM集群以上指标都正常,用户侧清理浏览器缓存之后重新单击作业管理即可。
Hive迁移作业长时间卡顿怎么办? 问题描述 Hive迁移作业长时间卡顿怎么办? 解决方案 为避免Hive迁移作业长时间卡顿,可手动停止迁移作业后,通过编辑Hive连接增加如下属性设置: 属性名称:hive.server2.idle.operation.timeout 值:10m
MySQL迁移时报错“JDBC连接超时”怎么办? 问题描述 MySQL迁移时报错:Unable to connect to the database server. Cause: connect timed out。 原因分析 这种情况是由于表数据量较大,并且源端通过where语
CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办? 问题描述 CDM连接RDS-Mysql ,除root用户外,其他用户都报错。 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 执行:mysql>use mysql;
试成功。 针对FTP服务器的防火墙来说,必须允许以下通讯才能支持主动方式FTP: 1. 任何大于1024的端口到FTP服务器的21端口(客户端初始化的连接)。 2. FTP服务器的21端口到大于1024的端口(服务器响应客户端的控制端口)。 3. FTP服务器的20端口到大于10
作业源端是Oracle时,运行时间过长报snapshot too old怎么解决? 是Oracle的约束限制导致,迁移过程中源端表中所有数据不能存在更新、删除和新增操作。可以加大UNDO_RETETION,同时调整UNDO表空间大小即可。 父主题: 故障处理类
Oracle迁移到DWS报错ORA-01555 MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用
utor的内存out of memory) 。 Hudi不支持并发写,会产生commit冲突。 解决方案 在DataArts Studio或者Hue或者spark-beeline上执行drop table将表从metastore中删除,然后作业配置 “不存在时创建”重跑作业。或者
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Rout
ocal/framework.log,搜索关键字:cluster running task,如果运行的并发数与available的并发数一致,则说明此时并发数已到达集群上限。 集群内存使用达到阈值 联系SRE查看cdm后台日志:/var/log/cdm/local/framework
下方式优化作业迁移速度: 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求,或当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行,建议您选用大规格的CDM集群规格进行数据迁移。 使用多个CDM集群
Hudi目的端的作业自动建表报错:schema不匹配,建表失败怎么办? 问题描述 cdm迁移数据到hudi,hudi选择自动建表,执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in
CDM提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于CDM支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。
注意,用户隔离关闭后需要重启集群VM才能生效。 最大抽取并发数:限制作业运行的总抽取并发数,如果当前所有作业总并发数超出限制,超出部分将排队等待。 注意,最大抽取并发数取值范围为1-1000,建议根据集群规格进行配置,建议值详见最大抽取并发数。过高的并发数可能导致内存溢出,请谨慎修改。 此处的“最大抽取并发数
0~10GB CDM集群实例 1分钟 tomcat_heap_usage 堆内存使用率 该指标为从物理机层面采集的堆内存使用率,数据准确性低于从弹性云服务器内部采集的数据。 单位:%。 0.001%~90% CDM集群实例 1分钟 tomcat_connect tomcat并发连接数
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
DM时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。
Oracle数据库连接参数说明 连接Oracle数据库时,连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据