检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因? 问题描述 创建Oracle数据连接,创建连接时测试连通性成功。 在连接管理界面中,测试Oracle数据连接失败。提示如下信息: “无法连接服务器,请检查IP、主机名、端口填写是否正确,检查网络安全组
support auto create empty table with no column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母
虚拟私有云:即VPC(Virtual Private Cloud),这里选择与MySQL实例或DWS集群相同的VPC。 子网:用户按实际业务选择集群所属子网。 推荐与MySQL实例或DWS集群的子网一致。 推荐选择已选择可用区下的子网,任意选择子网创建可能会创建失败。 安全组:推荐与MySQL实例或DWS集群的安全组一致。
使用包围符 在目的端作业参数中开启“使用包围符”,这样数据库中如果字段包含了字段分隔符,在导出到CSV文件的时候,CDM会使用包围符将该字段括起来,使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景:使用CDM先将MySQL中的某张表(表的某个字段值中包含了换行符\n)导
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
但Hive连接器测试连通性是正常的,于是仔细检查Hive的连接器配置的参数。 安全集群MRS Manager用户、用户组和角色配置都正确,发现Hive版本配置的为HIVE_3_X。 由于MRS1.8.1集群hive版本为1.2.1,故应该选择hive_1_X。正确修改连接器配置,重新创建作业正常。
参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。
8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号
产品优势 用户在云上进行数据集成、数据备份、新应用开发时,经常会涉及到数据迁移。通常情况下用户要进行数据迁移,会开发一些数据迁移脚本,从源端读取数据再写入目的端,相对这样传统的做法,CDM的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资
y运行,数据库仅侦听127.0.0.1,用户没有远程访问数据库的权限。 用户实例发放完毕后,CDM将虚拟机的root和Ruby用户密码更改为随机密码且不会保存在任何地方,以阻止CDM管理员访问用户实例和含有密码信息的数据库。 CDM实例迁移以推拉模式进行,因此CDM实例在VPC上
创建DLI连接 单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。
创建Oracle连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oracle_link”。
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
作业中目的连接为DWS连接时,目的端作业参数如表1所示。 表1 目的端为DWS时的作业参数 参数名 说明 取值样例 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作:
38位时,Hive按38位创建,s小于0时,按0创建,受Hive数据类型限制,此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型(MySQL) 数据类型(Hive) 说明 数值类型 tinyint(1),bit(1) BOOLEAN - TINYINT
概述 欢迎使用云数据迁移(Cloud Data Migration,以下简称CDM),该服务提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 您可以使用本文档提供的API
的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。 表1 MongoDB/DDS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 选择待迁移的数据库。 mongodb
迁移原理 支持的数据源 03 入门 介绍云数据迁移(Cloud Data Migration,以下简称CDM)的基础使用方法,通过使用CDM迁移本地MySQL数据库中的表,写入到数据仓库服务DWS的具体操作,帮助您了解、熟悉CDM服务。 登录云服务器 快速入门场景介绍 初始化数据盘 什么是ECS
全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。 密钥加密:用户在CDM上创建连接输入的各种数据源
使用包围符 在目的端作业参数中开启“使用包围符”,这样数据库中如果字段包含了字段分隔符,在导出到CSV文件的时候,CDM会使用包围符将该字段括起来,使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景:使用CDM先将MySQL中的某张表(表的某个字段值中包含了换行符\n)导