-
创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因? - 云数据迁移 CDM
创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因? 问题描述 创建Oracle数据连接,创建连接时测试连通性成功。 在连接管理界面中,测试Oracle数据连接失败。提示如下信息: “无法连接服务器,请检查IP、主机名、端口填写是否正确,检查网络安全组和防火墙配置是否正确,参考数据库返回消息
-
DES迁移一个月前的历史数据 - 云数据迁移 CDM
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
-
CDM迁移数据到DWS时如何选取分布列? - 云数据迁移 CDM
有选择,CDM会自动选择一个分布列。关于分布列的更多信息,请参见数据仓库服务。 DWS主键或表只有一个字段时,要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时,如果选择自动建表,主键必须为以下类型,未设置主键的情况下至少要有一个字段是以下类型,否则会无法创建表导致CDM作业失败。
-
如何查看套餐包的剩余时长? - 云数据迁移 CDM
如何查看套餐包的剩余时长? 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理-续费管理”查看对应套餐包的剩余时长。 父主题: 通用类
-
监控安全风险 - 云数据迁移 CDM
CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息 关于CDM支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。 父主题: 安全
-
配置FTP/SFTP源端参数 - 云数据迁移 CDM
“文件格式”选择“二进制格式”时,该参数才显示。 由于文本文件中无法用字符串定义null值,此配置项定义将何种字符串标识为null。 否 MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。 校验CDM抽取的文件,是否与源文件一致,详细请参见MD5校验文件一致性。 .md5 父主题:
-
CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? - 云数据迁移 CDM
CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 问题描述 作业管理页面访问不了,提示“网络或服务器异常,请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常:如磁盘、内存、CPU。 如果CDM集群以上指标都正常,用户侧清理浏览器缓存之后重新单击作业管理即可。
-
CDM迁移作业的抽取并发数应该如何设置? - 云数据迁移 CDM
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某
-
如何使用表达式方式获取当前时间? - 云数据迁移 CDM
如何使用表达式方式获取当前时间? 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题: 功能类
-
区域和可用区 - 云数据迁移 CDM
不同区域的资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? 是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点
-
配置OBS目的端参数 - 云数据迁移 CDM
场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用
-
如何使用Java调用CDM的Rest API创建数据迁移作业? - 云数据迁移 CDM
云账号的用户名、账号名和项目ID。 创建一个CDM集群,并获取集群ID。 获取方法:在集群管理界面,单击CDM集群名称可查看集群ID,例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。 创建一个MySQL数据库和一个DWS数据库,并创建好表city1和表city2,创表语句如下:
-
随机集群创建作业并执行 - 云数据迁移 CDM
execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。
-
迁移数据到DLI时有数据丢失怎么处理? - 云数据迁移 CDM
迁移数据到DLI时有数据丢失怎么处理? 问题描述 目的端是DLI的迁移作业执行成功后,显示迁移的数据条数和DLI表中查询的数量对不上,存在数据丢失。 原因分析 查看客户的作业配置,客户并发数设置的是3,如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1 ,重跑作业问题解决。
-
整库迁移到Hive,报错Identifier name is too long如何处理? - 云数据迁移 CDM
整库迁移到Hive,报错Identifier name is too long如何处理? 问题描述 迁移任务报错表名太长,但表名实际没有这么长。 原因分析 在任务迁移时,导入数据前会先创建一个实际表名+阶段表后缀的阶段表,最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否,这样就不会先导入阶段表。
-
云数据迁移安全结论 - 云数据迁移 CDM
-
查看集群基本信息/修改集群配置 - 云数据迁移 CDM
节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通知:CDM的迁移作业(目前仅支持表/文件迁移的作业)失败时,或者EIP异常时,会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。 用户隔离:控制其他用户是否能够操作该集群中的迁移作业、连接。 开
-
作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败怎么处理? - 云数据迁移 CDM
作业执行过程中,由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败怎么处理? 问题定位 日志中出现源端的read timeout报错,或者terminate by xxx之类的报错。 规避方案 如果源端网络不稳定,可以使用分片重试能力多次执行作业,可能需要调整作业配置。
-
创建集群 - 云数据迁移 CDM
节点类型,当前只有“cdm”一种类型 表6 nics 参数 是否必选 参数类型 描述 securityGroupId 是 String 安全组ID net-id 是 String 子网ID 表7 Datastore 参数 是否必选 参数类型 描述 type 否 String 类型,一般为cdm。
-
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? - 云数据迁移 CDM
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 故障处理类