检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使用CDM迁移Hologres至GaussDB(DWS)集群 使用Kettle迁移AWS
如何使用GaussDB(DWS)的\copy导入导出? 由于云上GaussDB(DWS)是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法:
表迁移 CREATE TABLE CHARACTER SET和CASESPECIFIC VOLATILE SET MULTISET TITLE 索引 约束 COLUMN STORE PARTITION ANALYZE 支持指定部分列 父主题: Teradata语法迁移
类型的数据源迁移数据到GaussDB(DWS)。 CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。 使用CDM迁移数据到GaussDB(DWS)的典型场景,请参见云数据迁移服务(简称CDM)的如下章节: 入门:该入门场景为使用CDM迁移本地
Developer工具进行表定义迁移。 迁移表全量数据 使用华为云迁移服务CDM完成进行数据迁移。 迁移业务SQL 使用DSC语法迁移工具进行语法改写,使Oracle的业务SQL转换成适配DWS的SQL。 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
表迁移 操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“表/文件迁移 > 新建作业”。 选择源端以及目的端配置。 配置源端作业参数,根据待迁移的数据库类型配置对应参数: 表1 源端作业参数 源端参数 取值样例 模式或表空间 db_user01 使用SQL语句
迁移流程 前提条件 准备工作 执行DSC 查看输出文件和日志 故障处理 父主题: 使用DSC
DISTRIBUTE BY HASH ("departmentnumber"); 列级参数相关迁移 SQL-Server支持创建具有稀疏列的表,DWS不支持,迁移过程中删除。 SQL-Server语法 迁移后语法 CREATE TABLE dbo.T1 ( c1 INT PRIMARY KEY
整库迁移 使用CDM迁移数据到GaussDB(DWS) 使用DSC工具迁移SQL脚本
以$开头的对象名称迁移 本章节介绍如何迁移以$(美元符号)开头的对象名称。 下表具体描述了这些对象名称的迁移行为。这些行为可以通过tdMigrateDollar参数来设置。 详情请参见IN/NOT IN转换。 表1 以$开头的对象名称的迁移行为 tdMigrateDollar设置
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。 数据源丰富,操作简单。 使用DSC工具迁移SQL脚本 数据库、NoSQL、文件系统、大数据平台
迁移验证 迁移后验证 Database Schema Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过
景,-t参数应不低于业务并发数的两倍。 由于管道“读取即删除”的特点,需确保导入或导出过程中除GDS程序外无其他程序读取管道文件,避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。 不支持对具有相同Location的外表并发导入导出,即GDS的多个线程同时读取管道文件或者同时写入管道文件。
索引迁移 Teradata中CREATE INDEX的列和表名的顺序和GaussDB(DWS)中不同。使用参数distributeByHash配置数据在集群节点间的分布方式。该工具不会添加DISTRIBUTE BY HASH用于创建具有主键和非唯一主索引的表。 输入:主键非主索引的超集,且仅有1列匹配
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GD
写入数据。GaussDB(DWS)支持完整的数据库事务级别的增删改(CRUD)操作。这是最简单的一种方式,这种方式适合数据写入量不太大, 并发度不太高的场景。 从MRS导入数据,将MRS作为ETL。 通过COPY FROM STDIN方式导入数据。 通过COPY FROM STDIN命令写数据到一个表。
98TB、4.47TB、160GB、1.68TB、13.41TB六种规格的存储容量,一个集群支持的节点数范围为3~256,集群总的存储容量随集群规模等比例扩充。 为增强可靠性,每个节点都有一个副本,副本会占用一半的存储空间,选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据,
Developer以及instance、DSC包。 配置PL/SQL Developer的Oracle Home及OCL library。 以下以试用版的PL/SQL Developer的界面为例,实际请以新界面为准。 在输入密码的登录界面直接单击“取消”进入界面。 选择“Configure > Preferences