检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xxx下能查到APEX2_DYNAMIC_ADD_REMAIN_TEST表,即为表定义迁移完成。 1 SELECT COUNT(*) FORM db_user01.APEX2_DYNAMIC_ADD_REMAIN_TEST; 父主题: 迁移表定义
迁移表全量数据 配置DWS数据源连接 配置Oracle数据源连接 表迁移 验证 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
Netezza SQL迁移 工具支持从Netezza到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言以及迁移类型: Linux: ./runDSC.sh --source-db
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
Oracle SQL迁移 工具支持从Oracle到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行Oracle SQL迁移 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言和迁移类型: Linux操作系统: ./runDSC
创建外部服务器 创建HDFS外部服务器的操作步骤如下: 手动创建外部服务器 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库postgres。 例如:通过gsql客户端登录数据库的用户可以使用以下两种方法中的一种进行连接: 可以通过以下两种方法中的一种进行连接:
适用Kafka实时入库。 使用CDM迁移数据到GaussDB(DWS) 数据库、NoSQL、文件系统、大数据平台 CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
约束与限制 如果待迁移的表数量较多,建议分批次进行迁移。可以按业务分批,也可以按表的数据量分批。 如果在CDM迁移过程中有DELETE、UPDATE操作,无法保证迁移后的数据一致,需要重新迁移。 表的数据量太大,可以切片迁移。 整库迁移作业一次只能迁移一个数据库,如果迁移多个数据库需要配置多个迁移作业。
迁移后数据一致性验证 场景描述 图1 迁移场景 主要包括云上和云下的MySQL数据迁移,支持整库迁移或者单表迁移,本文以云下MySQL的整库迁移为例。 云下MySQL数据迁移: CDM通过公网IP访问MySQL数据库,CDM与GaussDB(DWS)在同一个VPC下,CDM分别与MySQL和DWS建立JDBC连接。
执行以下语句检查数据倾斜率。 数据分布率在10%以内说明数据离散分布正常。数据迁移完成。 1 SELECT TABLE_SKEWNESS('db_user01.apex2_dynamic_add_remain_test'); 父主题: 迁移表全量数据
ocumentation/output --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang
SET用于指定字符列的服务器字符集,CASESPECIFIC用于指定字符数据比较及排序时的大小写情况。 可以使用tdMigrateCharsetCase参数来配置是否迁移CHARACTER SET和CASESPECIFIC。如果该参数设为false,则工具将跳过该查询的迁移并记录消息。
视图迁移 CREATE VIEW (缩写关键字为CV)和SELECT一同使用,用于创建视图。 Teradata和GaussDB(DWS)均支持关键词VIEW,但SELECT语句在迁移过程中会用()。详情请参见下方图片。 通过tdMigrateVIEWCHECKOPTIO....参数可以配置如何迁移包含WITH
图1 AnalyticDB for MySQL迁移场景 约束与限制 如果在CDM迁移过程中有DELETE、UPDATE操作,无法保证迁移后的数据一致,需要重新迁移。 整库迁移作业一次只能迁移一个数据库,如果迁移多个数据库需要配置多个迁移作业。 在目标端DWS需要创建待同步的数据库和schema。
如果使用TITLE并指定ALIAS,则工具将按如下方式进行迁移: TITLE with AS:迁移为AS alias。 TITLE with NAMED:迁移为NAMED alias。 TITLE with NAMED and AS:迁移为AS alias。 输入:TABLE TITLE,使用NAMED和AS
放通ECS到DWS之间的网络端口。 由于GDS服务器(即本实验ECS)与DWS需要建立通讯,ECS默认的安全组入方向并没有放通GDS端口5000和DWS端口8000,需执行以下步骤: 回到弹性云服务器ECS的控制台,单击云服务器名称进入详情。 切换到“安全组”页签,单击“配置规则”。 选择“入方向规则”,单击“
ANALYZE Teradata的ANALYZE语句用于对表的迁移。 输入:CREATE TABLE,使用INDEX 1 2 CREATE TABLE EMP27 AS emp21 WITH DATA PRIMARY INDEX (EMPNO) ON COMMIT PRESERVE
连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。 配置DWS连接,单击“测试”通过后,单击“保存”。 表1 DWS连接信息 参数项 取值 名称 dws 数据库服务器 单击“选择”,从集群列表中选择要连接的DWS集群。 说明: 系统会自动刷出同一个区域、同一个VPC下的DWS集群,如果没有,则需要手动填写网络已连通的DWS的访问IP。
输入文件中包含表的专用关键词VOLATILE,但GaussDB(DWS)不支持该关键词。因此,DSC在迁移过程中用关键词LOCAL TEMPORARY替换该关键词。根据配置输入,Volatile表在迁移中标记为本地临时表或无日志表。 输入:CREATE VOLATILE TABLE 1 CREATE