检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
me参数来配置。 DSC通过调用Teradata SQL来迁移提取到的SQL脚本。有关Teradata SQL迁移的详细信息,请参见Teradata SQL迁移。 Perl文件嵌入迁移后脚本。 在指定的输出文件夹中创建迁移后的Perl文件。如果未指定输出文件夹,则工具会在输入文件
Version命令迁移 功能 Version命令用于显示DSC版本号。 命令格式 Linux: ./runDSC.sh --version Windows: runDSC.bat --version 使用指南 Linux: ./runDSC.sh --version Windows:
Iron 1 | Wood 2 | Lake 3 | Desert (4 rows) 父主题: 元数据迁移
MySQL语法迁移 支持的关键词和特性 数据类型 函数和表达式 表(可选参数、操作) 索引 注释 数据库 数据操作语句(DML) 事务管理和数据库管理 父主题: DSC
使用GDS互联互通功能实现GaussDB(DWS)集群间数据迁移 本实践演示基于GDS导入导出的高并发能力,实现两套DWS集群之间1500万行数据的分钟级迁移。 该功能仅8.1.2及以上集群版本支持。 GDS为GaussDB(DWS)自研的高并发导入导出工具,了解更多请参考GDS使用说明。
数据集成围绕GaussDB(DWS),提供了简单易用的迁移能力及多种数据源到DWS的集成能力,降低用户数据源迁移和集成的复杂性,是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2.0及以上集群版本支持。
_dumpall工具,能够帮助用户导出需要的数据库对象或其相关信息。通过导入工具将导出的元数据信息导入至需要的数据库,可以完成数据库信息的迁移。gs_dump支持导出单个数据库或其内的对象,而gs_dumpall支持导出集群中所有数据库或各库的公共全局对象。详细的使用场景见表1。
工具日志不记录敏感数据,如查询。 活动日志 DSC将所有日志和错误信息保存到DSC.log文件中。该文件位于log文件夹中。DSC.log文件包含执行迁移的用户、迁移的文件、时间戳等详细信息。活动日志的记录级别为INFO。 DSC.log的文件结构如下: 2020-01-22 09:35:10,769
以$开头的对象名称迁移 本章节介绍如何迁移以$(美元符号)开头的对象名称。 下表具体描述了这些对象名称的迁移行为。这些行为可以通过tdMigrateDollar参数来设置。 详情请参见IN/NOT IN转换。 表1 以$开头的对象名称的迁移行为 tdMigrateDollar设置
Perl迁移日志 Perl迁移时,DSC将所有日志信息写入perlDSC.log文件。 DSC通过调用SQL来迁移Perl文件中的SQL脚本,因此支持以下SQL迁移日志: 活动日志 错误日志 成功读 成功写 日志级别 可以使用logging-level参数来配置perl迁移日志的记录级别。
显示集群中安装的数据库实例版本。 - 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 - 子网 指定虚拟私有云的一个子网。 集群使用子网实现
使用GDS-Kafka工具迁移数据至GaussDB(DWS)集群 概述 实例管理 连接管理 映射管理 作业管理 父主题: 迁移业务数据至GaussDB(DWS)集群
缩写关键字迁移 表1列出了Teradata支持的缩写关键字及其语法在GaussDB(DWS)中对应的语法。 表1 缩写关键字列表 Teradata语法 对应的GaussDB(DWS)语法 SEL SELECT INS INSERT UPD UPDATE DEL DELETE CT
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。
使用gs_dump和gs_dumpall命令导出元数据 概述 导出单个数据库 导出所有数据库 无权限角色导出数据 父主题: 元数据迁移
数据库模式迁移 功能 runDSC.sh和runDSC.bat分别用于将Teradata、MySQL的schema和query迁移到GaussDB (DWS)上。 迁移参数指导 Teradata SQL迁移 Teradata Perl迁移 MySQL SQL迁移 Oracle SQL迁移
在创建集群实例后,用户可以自定义作业,启用作业,进行数据迁移。 作业分为数据迁移和自动建表: 数据迁移:把kafka中的数据迁移到GaussDB(DWS)中。 自动建表:把源数据库中的表与字段,同步到GaussDB(DWS)中,但不迁移数据。 创建作业 登录GaussDB(DWS)控制台。
GDS-kafka集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务,则网络互通需满足如下条件:
基因查询优化器 介绍基因查询优化器相关的参数。基因查询优化器(GEQO)是一种启发式的查询规划算法。这个算法减少了对复杂查询规划的时间,而且生成规划的开销有时也小于正常的详尽的查询算法。 geqo 参数说明:控制基因查询优化的使用。 参数类型:USERSET 取值范围:布尔型 on表示使用。
dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移