检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Version命令迁移 功能 Version命令用于显示DSC版本号。 命令格式 Linux: ./runDSC.sh --version Windows: runDSC.bat --version 使用指南 Linux: ./runDSC.sh --version Windows:
MySQL语法迁移 支持的关键词和特性 数据类型 函数和表达式 表(可选参数、操作) 索引 注释 数据库 数据操作语句(DML) 事务管理和数据库管理 父主题: DSC
以$开头的对象名称迁移 本章节介绍如何迁移以$(美元符号)开头的对象名称。 下表具体描述了这些对象名称的迁移行为。这些行为可以通过tdMigrateDollar参数来设置。 详情请参见IN/NOT IN转换。 表1 以$开头的对象名称的迁移行为 tdMigrateDollar设置
缩写关键字迁移 表1列出了Teradata支持的缩写关键字及其语法在GaussDB(DWS)中对应的语法。 表1 缩写关键字列表 Teradata语法 对应的GaussDB(DWS)语法 SEL SELECT INS INSERT UPD UPDATE DEL DELETE CT
数据集成围绕GaussDB(DWS),提供了简单易用的迁移能力及多种数据源到DWS的集成能力,降低用户数据源迁移和集成的复杂性,是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2.0及以上集群版本支持。
_dumpall工具,能够帮助用户导出需要的数据库对象或其相关信息。通过导入工具将导出的元数据信息导入至需要的数据库,可以完成数据库信息的迁移。gs_dump支持导出单个数据库或其内的对象,而gs_dumpall支持导出集群中所有数据库或各库的公共全局对象。详细的使用场景见表1。
使用gs_dump和gs_dumpall命令导出元数据 概述 导出单个数据库 导出所有数据库 无权限角色导出数据 父主题: 元数据迁移
连接管理 简介 在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。 不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
在创建集群实例后,用户可以自定义作业,启用作业,进行数据迁移。 作业分为数据迁移和自动建表: 数据迁移:把kafka中的数据迁移到GaussDB(DWS)中。 自动建表:把源数据库中的表与字段,同步到GaussDB(DWS)中,但不迁移数据。 创建作业 登录GaussDB(DWS)控制台。
数据库模式迁移 功能 runDSC.sh和runDSC.bat分别用于将Teradata、MySQL的schema和query迁移到GaussDB (DWS)上。 迁移参数指导 Teradata SQL迁移 Teradata Perl迁移 MySQL SQL迁移 Oracle SQL迁移
表(可选参数、操作) 本节主要介绍表(可选参数、操作)的迁移语法。迁移语法决定了关键字/功能的迁移方式。GaussDB(DWS)不支持表(可选参数),目前针对表(可选参数)的迁移方法都是临时迁移方法。 ALGORITHM ALTER TABLE RENAME AUTO_INCREMENT
实例管理 实例管理概述 数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消耗数据并缓存,当达到设置好的时间或数据量之后,
使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题: 迁移业务数据至GaussDB(DWS)集群
, asms.cppsv_operation_sort t , asms.cppsv_product_class pr WHERE mig_ora_cte_tab_alias.service_product_id =
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
DML(Oracle) 本节主要介绍Oracle DML的迁移语法。迁移语法决定了关键字/功能的迁移方式。 具体见以下节点内容: SELECT INSERT MERGE SELECT 概述 Oracle的SELECT语句可以启动查询,使用一个可选的ORDER BY子句,该子句用于从数据库的一个或多个表中提取记录。
支持的关键词和特性 DSC支持迁移的MySQL关键字和特性如表1所示。 “版本”列代表初次支持该关键字/特性的DWS集群版本。 “备注”列包含该特性的配置参数,可用于自定义迁移工具如何迁移相应的关键字/特性。 表1 章节 对象->关键词/特性 版本 备注 数据类型 数字类型 8.0
行过慢,从而转换失败。 迁移方法 用户可在Windows和Linux操作系统中执行runDSC.sh或runDSC.bat命令进行迁移,各迁移场景的命令详见表1。 表1 Windows和Linux场景迁移 迁移场景 命令行参数 Teradata SQL迁移 1 2 3 4 5 6
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。