检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Oracle数据源连接 数据从Oracle迁移到GaussDB(DWS),首先要配置Oracle数据源连接。 操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 驱动管理”。 单击“ORACLE”右侧的“上传”,选择Oracle驱
Oracle迁移概述 本节列出了语法迁移工具支持的Oracle特性,并且针对每个特性提供了Oracle语法及其相应的GaussDB(DWS)语法。本节中列出的语法说明了Oracle脚本使用的内部迁移逻辑。 本节还可以作为数据库迁移团队的参考,作为客户现场验证Oracle脚本迁移的参考。
视图迁移 CREATE VIEW (缩写关键字为CV)和SELECT一同使用,用于创建视图。 Teradata和GaussDB(DWS)均支持关键词VIEW,但SELECT语句在迁移过程中会用()。详情请参见下方图片。 通过tdMigrateVIEWCHECKOPTIO....参数可以配置如何迁移包含WITH
连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。 配置DWS连接,单击“测试”通过后,单击“保存”。 表1 DWS连接信息 参数项 取值 名称 dws 数据库服务器 单击“选择”,从集群列表中选择要连接的DWS集群。 说明: 系统会自动刷出同一个区域、同一个VPC下的DWS集群,如果没有,则需要手动填写网络已连通的DWS的访问IP。
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使用CDM迁移Hologres至GaussDB(DWS)集群 使用Kettle迁移AWS
验证 在Oracle中执行迁移前的业务SQL,执行结果如下图。 在Data Studio中执行迁移后业务SQL。 查看执行后的结果如下图。 对比Oracle和DWS业务SQL的执行结果,结果一致,业务迁移完成。 父主题: 迁移业务SQL
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
Oracle SQL迁移 工具支持从Oracle到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行Oracle SQL迁移 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言和迁移类型: Linux操作系统: ./runDSC
约束与限制 如果待迁移的表数量较多,建议分批次进行迁移。可以按业务分批,也可以按表的数据量分批。 如果在CDM迁移过程中有DELETE、UPDATE操作,无法保证迁移后的数据一致,需要重新迁移。 表的数据量太大,可以切片迁移。 整库迁移作业一次只能迁移一个数据库,如果迁移多个数据库需要配置多个迁移作业。
创建外部服务器 创建HDFS外部服务器的操作步骤如下: 手动创建外部服务器 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库postgres。 例如:通过gsql客户端登录数据库的用户可以使用以下两种方法中的一种进行连接: 可以通过以下两种方法中的一种进行连接:
SET用于指定字符列的服务器字符集,CASESPECIFIC用于指定字符数据比较及排序时的大小写情况。 可以使用tdMigrateCharsetCase参数来配置是否迁移CHARACTER SET和CASESPECIFIC。如果该参数设为false,则工具将跳过该查询的迁移并记录消息。
表中的约束应用于多列。DSC支持以下约束: REFERENCES约束/FOREIGN KEY:目前无法通过工具迁移。 PRIMARY KEY约束:可通过工具迁移。 UNIQUE约束:可通过工具迁移。 输入:CREATE TABLE,使用CONSTRAINT 1 2 3 4 5 6
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
创建外部服务器 本章节包含创建OBS外部服务器和创建HDFS外部服务器。 创建OBS外部服务器的步骤如下: 创建外部服务器 使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中,将使用(可选)新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase
迁移表全量数据 配置DWS数据源连接 配置Oracle数据源连接 表迁移 验证 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
ocumentation/output --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang
迁移流程 前提条件 准备工作 执行DSC 查看输出文件和日志 故障处理 父主题: 使用DSC
Netezza SQL迁移 工具支持从Netezza到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言以及迁移类型: Linux: ./runDSC.sh --source-db
图1 AnalyticDB for MySQL迁移场景 约束与限制 如果在CDM迁移过程中有DELETE、UPDATE操作,无法保证迁移后的数据一致,需要重新迁移。 整库迁移作业一次只能迁移一个数据库,如果迁移多个数据库需要配置多个迁移作业。 在目标端DWS需要创建待同步的数据库和schema。
字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 使用GDS从远端服务器导入数据