检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
或各库的公共全局对象。 通过导入工具将导出的元数据信息导入至需要的数据库,可以完成数据库信息的迁移。 适用于元数据迁移。 使用gs_restore导入数据 sql/tmp/tar文件格式 在数据库迁移场景下,支持使用gs_restore工具将事先使用gs_dump工具导出的文件格
如何使用GaussDB(DWS)的\copy导入导出? 由于云上GaussDB(DWS)是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法:
景,-t参数应不低于业务并发数的两倍。 由于管道“读取即删除”的特点,需确保导入或导出过程中除GDS程序外无其他程序读取管道文件,避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。 不支持对具有相同Location的外表并发导入导出,即GDS的多个线程同时读取管道文件或者同时写入管道文件。
使用CDM迁移数据到GaussDB(DWS) 使用云数据迁移服务(Cloud Data Migration,简称CDM),可以将其他数据源(例如MySQL)的数据迁移到GaussDB(DWS) 集群的数据库中。 使用CDM迁移数据到GaussDB(DWS)的典型场景,请参见云数据迁移服务(简称CDM)的如下章节:
约束与限制 如果待迁移的表数量较多,建议分批次进行迁移。可以按业务分批,也可以按表的数据量分批。 如果在CDM迁移过程中有DELETE、UPDATE操作,无法保证迁移后的数据一致,需要重新迁移。 表的数据量太大,可以切片迁移。 整库迁移作业一次只能迁移一个数据库,如果迁移多个数据库需要配置多个迁移作业。
写入数据。GaussDB(DWS)支持完整的数据库事务级别的增删改(CRUD)操作。这是最简单的一种方式,这种方式适合数据写入量不太大, 并发度不太高的场景。 从MRS导入数据,将MRS作为ETL。 通过COPY FROM STDIN方式导入数据。 通过COPY FROM STDIN命令写数据到一个表。
MySQL迁移场景 约束与限制 如果在CDM迁移过程中有DELETE、UPDATE操作,无法保证迁移后的数据一致,需要重新迁移。 整库迁移作业一次只能迁移一个数据库,如果迁移多个数据库需要配置多个迁移作业。 在目标端DWS需要创建待同步的数据库和schema。 ADB的库层级对应的是DWS的schema层级。
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GD
Developer工具进行表定义迁移。 迁移表全量数据 使用华为云迁移服务CDM完成进行数据迁移。 迁移业务SQL 使用DSC语法迁移工具进行语法改写,使Oracle的业务SQL转换成适配DWS的SQL。 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
表迁移 操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“表/文件迁移 > 新建作业”。 选择源端以及目的端配置。 配置源端作业参数,根据待迁移的数据库类型配置对应参数: 表1 源端作业参数 源端参数 取值样例 模式或表空间 db_user01 使用SQL语句
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
本节主要介绍Oracle DML的迁移语法。迁移语法决定了关键字/功能的迁移方式。 具体见以下节点内容: SELECT INSERT MERGE SELECT 概述 Oracle的SELECT语句可以启动查询,使用一个可选的ORDER BY子句,该子句用于从数据库的一个或多个表中提取记录。
98TB、4.47TB、160GB、1.68TB、13.41TB六种规格的存储容量,一个集群支持的节点数范围为3~256,集群总的存储容量随集群规模等比例扩充。 为增强可靠性,每个节点都有一个副本,副本会占用一半的存储空间,选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据,
以$开头的对象名称迁移 本章节介绍如何迁移以$(美元符号)开头的对象名称。 下表具体描述了这些对象名称的迁移行为。这些行为可以通过tdMigrateDollar参数来设置。 详情请参见IN/NOT IN转换。 表1 以$开头的对象名称的迁移行为 tdMigrateDollar设置
Developer以及instance、DSC包。 配置PL/SQL Developer的Oracle Home及OCL library。 以下以试用版的PL/SQL Developer的界面为例,实际请以新界面为准。 在输入密码的登录界面直接单击“取消”进入界面。 选择“Configure > Preferences
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
表迁移 CREATE TABLE CHARACTER SET和CASESPECIFIC VOLATILE SET MULTISET TITLE 索引 约束 COLUMN STORE PARTITION ANALYZE 支持指定部分列 父主题: Teradata语法迁移
Oracle迁移概述 本节列出了语法迁移工具支持的Oracle特性,并且针对每个特性提供了Oracle语法及其相应的GaussDB(DWS)语法。本节中列出的语法说明了Oracle脚本使用的内部迁移逻辑。 本节还可以作为数据库迁移团队的参考,作为客户现场验证Oracle脚本迁移的参考。
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DRS实时同步MySQL表数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使