检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行环境 支持的数据库 DataCheck支持的源数据库如所示。 表1 支持的源数据库 数据库名称 数据库版本 MySQL 8.0 PostgreSQL 42.6.0 GaussDB(DWS) 8.1.0及以上集群版本 DataCheck支持的目标数据库如所示。 表2 支持的目标数据库
会话信息函数 current_catalog 描述:当前数据库的名字(在标准SQL中称“catalog”),与current_database()同义。 返回值类型:name 示例: 1 2 3 4 5 SELECT current_catalog; current_database
会话信息函数 current_catalog 描述:当前数据库的名字(在标准SQL中称“catalog”),与current_database()同义。 返回值类型:name 示例: 1 2 3 4 5 SELECT current_catalog; current_database
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
使用GDS互联互通功能实现GaussDB(DWS)集群间数据迁移 本实践演示基于GDS导入导出的高并发能力,实现两套DWS集群之间1500万行数据的分钟级迁移。 该功能仅8.1.2及以上集群版本支持。 GDS为GaussDB(DWS)自研的高并发导入导出工具,了解更多请参考GDS使用说明。
系统管理函数 配置设置函数 通用文件访问函数 服务器信号函数 快照同步函数 咨询锁函数 复制函数 资源管理函数 其它函数 父主题: 函数和操作符
测试方法 总体流程 创建弹性云服务器ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集
系统管理函数 配置设置函数 通用文件访问函数 服务器信号函数 快照同步函数 咨询锁函数 复制函数 资源管理函数 内存管理函数 其它函数 父主题: 函数和操作符
从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题: 从OBS并行导入数据
准备数据构建工具编译环境 远程连接ECS弹性云服务器。 执行以下命令, 安装git。 yum install git 执行以下命令,安装gcc。 yum install gcc 父主题: 构建TPC-H&TPC-DS使用数据
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 导入数据
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
encryption.sh [password]。 执行数据校验。 Windows环境下: 打开check.input文件,将要校验的数据库(不填默认使用conf配置文件内的内容)、源表、目标端表填入,Row Range可根据需要填写特定范围的数据查询语句。 源端的库名在配置文件中配置后,check
PG_FOREIGN_TABLE PG_FOREIGN_TABLE系统表存储外部表的辅助信息。 表1 PG_FOREIGN_TABLE字段 名称 类型 描述 ftrelid oid 外部表的OID。 ftserver oid 外部表的所在服务器的OID。 ftwriteonly boolean
下载客户端 GaussDB(DWS)提供了与集群版本配套的客户端工具包,用户可以在GaussDB(DWS)管理控制台下载客户端工具包。工具下载请参见工具下载。 客户端工具包包含以下内容: 数据库连接工具Linux gsql和测试样例数据的脚本 Linux gsql是一款运行在Li
PG_FOREIGN_TABLE PG_FOREIGN_TABLE系统表存储外部表的辅助信息。 表1 PG_FOREIGN_TABLE字段 名称 类型 描述 ftrelid oid 外部表的OID。 ftserver oid 外部表的所在服务器的OID。 ftwriteonly boolean
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。
数据库系统参数调优 为了保证数据库尽可能高性能地运行,建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory