检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本实践演示如何使用云数据迁移服务CDM将Hologres数据迁移到GaussDB(DWS)。 云数据迁移(Cloud Data Migration,简称CDM),是一种高效、易用的批量数据迁移服务。了解更多请参见云数据迁移CDM。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性公网EIP、云数据迁移
Schema Oid。 srvname text 外部服务器名称。 source text 元数据服务类型。 address text 元数据服务地址。 database text 元数据服务器数据库。 confpath text 元数据服务器配置文件路径。 ensoptions text[]
测试方法 总体流程 创建弹性云服务器ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集
解析器测试 函数ts_parse可以直接测试文本搜索解析器。 1 2 ts_parse(parser_name text, document text, OUT tokid integer, OUT token text) returns setof record
处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。 创建ECS过程中,注意选择与后续的DWS集群在同一个区域、可用区(本实践以“华北-北京四”、“可用区2”为例)和同一个VPC子网下,ECS的操作系统选择与下面的gs
资源成本:各类资源和资源包的成本,这取决于云服务器的计费项,详细介绍请参见计费项。 运维成本:使用数据仓库服务DWS过程中产生的人力成本。 图1 GaussDB(DWS)成本 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以
载。 GDS工具包 GDS工具包是数据服务工具。用户可以使用GDS工具将普通文件系统中的数据文件导入到GaussDB(DWS)数据库中,GDS工具包需要安装在数据源文件所在的服务器上。数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 下载客户端 表1 gsql下载地址 操作系统类别
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
--host=HOSTNAME 指定正在运行服务器的主机名或者Unix域套接字的路径。 如果省略主机名,gsql将通过Unix域套接字与本地主机的服务器相连,或者在没有Unix域套接字的机器上,通过TCP/IP与localhost连接。 -p, --port=PORT 指定数据库服务器的端口号。 可以通过port参数修改默认端口号。
分词器测试 函数ts_debug允许简单测试文本搜索分词器。 1 2 3 4 5 6 7 8 ts_debug([ config regconfig, ] document text, OUT alias text, OUT description
解析器测试 函数ts_parse可以直接测试文本搜索解析器。 1 2 ts_parse(parser_name text, document text, OUT tokid integer, OUT token text) returns setof record
STDIN方式导入数据。 通过COPY FROM STDIN命令写数据到一个表。 使用GDS从远端服务器导入数据到GaussDB(DWS)。 当用户需要将普通文件系统(例如,弹性云服务器)中的数据文件导入到GaussDB(DWS)时,可以使用GaussDB(DWS)提供的GDS导入数据的功能。
使用SQL编辑器连接集群 数据源用于用户登录列表管理,目前GaussDB(DWS)集群支持的登录方式有两种,即自定义(“用户名+密码”)和IAM方式登录方式。其中自定义登录是目前主要登录方式,IAM方式登录会在数据库创建一个IAM用户名的用户,再使用Token登录数据库。 IAM方式登录仅8
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
用户映射的OID。 srvid oid PG_FOREIGN_SERVER.oid 包含这个映射的外部服务器的OID。 srvname name PG_FOREIGN_SERVER.srvname 外部服务器的名字。 umuser oid PG_AUTHID.oid 被映射的本地角色的OID,如果用户映射是公共的则为0。
TPC-H数据构建 从官网获取TPC-H工具。 登录ECS云服务器,执行如下命令创建TPC-H存放目录。 1 2 mkdir -p /data1/script/tpch-kit/tpch1000X mkdir -p /data2/script/tpch-kit/tpch1000X
区时,都预留了足够的分区,所以不影响使用。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。 创建ECS过程中,注意选择与后续的IoT数仓在同一个区域、可用区和同一个VPC子网下,ECS的操作系统选择与gsql客户端(本例以CentOS
系统管理函数 配置设置函数 通用文件访问函数 服务器信号函数 快照同步函数 咨询锁函数 复制函数 资源管理函数 其它函数 父主题: 函数和操作符