检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库迁移 优势 平滑迁移 GaussDB(DWS)提供配套的迁移工具,可支持TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用数据分析系统的平滑迁移。 兼容传统数据仓库 GaussDB(DWS)支持SQL
QL函数加密。 GaussDB(DWS)目前不支持从Oracle、Teradata和MySQL加密后到DWS解密。Oracle、Teradata和MySQL与DWS加解密有区别,需要非加密数据迁移到DWS后在DWS侧进行加解密。 技术背景 哈希函数 哈希函数又称为摘要算法,对于数
由于DWS的表定义结构与Oracle存在差异,需要手动修改转换后的表定义。 如下,将文件中的\echo整体注释掉(如果使用gsql工具导入表定义的话,不需要注释),同时手动修改指定表的分布列(distribute by hash (列名))。 修改前: 修改后: Hash分布表的分布列选取至关重要,需要满足以下原则:
包拆分 包规范迁移为以包名命名的模式,包体中的存储过程和函数迁移为Packagename.procedurename和Packagename.funtionname。 设置pkgSchemaNaming=true后,可以进行迁移。 输入: PACKAGE1.FUNC1 1 2
工具日志不记录敏感数据,如查询。 活动日志 DSC将所有日志和错误信息保存到DSC.log文件中。该文件位于log文件夹中。DSC.log文件包含执行迁移的用户、迁移的文件、时间戳等详细信息。活动日志的记录级别为INFO。 DSC.log的文件结构如下: 2020-01-22 09:35:10,769
在创建集群实例后,用户可以自定义作业,启用作业,进行数据迁移。 作业分为数据迁移和自动建表: 数据迁移:把kafka中的数据迁移到GaussDB(DWS)中。 自动建表:把源数据库中的表与字段,同步到GaussDB(DWS)中,但不迁移数据。 创建作业 登录GaussDB(DWS)控制台。
使用数据类型作为表列%TYPE迁移包变量时,需要从表中获取实际数据类型,并且在声明变量时使用该数据类型,而不是使用%TYPE。 输入:若配置参数pkgSchemaNaming设置为false 如果一起指定PACKAGE名称和SCHEMA名称,则需要在GET()上使用SCHEMA名
PL/SQL集合(使用自定义类型) 本节主要介绍Oracle PL/SQL集合的迁移语法。迁移语法决定了关键字/功能的迁移方式。 自定义类型(UDT)衍生于数据库支持的数据类型。 自定义数据类型基于内置数据类型和其他自定义数据类型,定义应用程序中数据的结构和行为。自定义类型便于用户使用PL/SQL集合。
迁移OBS桶数据至GaussDB(DWS)集群 教程指引 本教程通过演示将样例数据上传OBS,以及将OBS的数据导入GaussDB(DWS)的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT
供简单、快速、可靠的应用程序SQL脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本,并迁移为适用于GaussDB(DWS)数据库的应用程序SQL脚本。 DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。 gs_dump和gs_dumpall
级配置。 重分布队列的排序依据表的relpage大小进行,为确保relpage大小正确,建议在重分布之前对需要重分布的表执行analyze操作。 离线重分布 注意事项 离线重分布模式下数据库不支持DDL和DCL操作,正在重分布的表只支持简单的DQL操作。 表重分布期间会对表加共享
ALIAS 所有数据库都支持ALIAS。在Teradata中,定义ALIAS的语句允许其SELECT和WHERE子句引用ALIAS。但是目标数据库的SELECT和WHERE语句不支持ALIAS,因此MT将其迁移为实际的字段名称替换。 比较操作符LT、LE、GT、GE、EQ和NE不得用作表别名或列别名。
创建包模式 包声明迁移为创建以包名命名的模式。设置pkgSchemaNaming=false后,可以进行迁移。 输入:为包创建模式名 1 2 3 4 5 6 7 8 9 CREATE OR REPLACE EDITIONABLE PACKAGE "PACK_DEMO"."PACKAGE_GET_NOVA_INFO"
CURSOR REF Cursor是一种数据类型,它可保存数据库游标值,并可用于返回查询结果。 DSC支持REF CURSOR的迁移。如下示例显示了DSC如何迁移lref_strong_emptyp(本地REF CURSOR)和ref_strong_emptyp(包级别REF CURSOR)。
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。
参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格 参数项 参数取值 区域 华北-北京4 可用区 可用区1 产品类型 标准数仓
本章涉及的所有管道文件都是指Linux上的命名管道。 在执行GDS导入导出时,为了确保数据导入或导出的正确性,需要在相同的兼容模式下操作。 例如:在MySQL兼容模式下导入(导出)的数据,同样需要在MySQL兼容模式下才能正确导出(导入)。 概述 并行导入将存储在服务器普通文件系统中的数据导入到Ga
rows) 方式二: 通过系统表PG_AUTH_HISTORY的passwordtime字段查看用户最初的密码创建时间,即该用户的创建时间。需要有系统管理员权限才可以访问此系统表。 1 SELECT roloid, min(passwordtime) as create_time FROM
句脚本,并将其写入至文件或者标准输出。该脚本文件等效于gs_dump导出的纯文本格式文件。 gs_restore工具在导入时,允许用户选择需要导入的内容,并支持在数据导入前对等待导入的内容进行排序。 操作步骤 gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成
ORC格式的数据仅8.1.0版本以后支持。 在执行OBS导入导出时,为了确保数据导入或导出的正确性,需要在相同的兼容模式下操作。 例如:在mysql兼容模式下导入(导出)的数据,同样需要在mysql兼容模式下才能正确导出(导入)。 相关概念 数据源文件:存储有数据的TEXT、CSV文件。