检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GDS导出示例 Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。
其中设置的导出模式信息如下所示: 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,待导出的数据文件格式为CSV,选择并行导出模式为Remote模式。
使用GDS从远端服务器导入数据到DWS。 当用户需要将普通文件系统(例如,弹性云服务器)中的数据文件导入到DWS时,可以使用DWS提供的GDS导入数据的功能。 使用CDM迁移数据到DWS。 父主题: 数据迁移
数据服务器:数据源文件所在的服务器称为数据服务器。基于安全考虑,建议数据服务器和GaussDB(DWS)集群处于同一内网。 外表Foreign Table:用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表(目标表)的对象。
- 父主题: 使用GDS导出数据到远端服务器
操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。
参见弹性云服务的购买弹性云服务器创建弹性云服务器,注意ECS与DWS创建在同一个区域、VPC内,本例ECS镜像选择CentOS 7.6版本。
1 SELECT version(); 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。
为什么在互联网环境连接DWS后,解绑了EIP不会立即返回失败消息? 这是因为解绑了EIP后,会导致网络断开。但是此过程中,TCP协议层因keepalive等的设置,无法及时识别物理连接已经故障,导致gsql,ODBC和JDBC等客户端无法及时识别网络故障。
SSD本地盘:使用ECS规格自带的本地磁盘作为数据存储介质,容量固定,性能更高,不支持磁盘扩容。 更多信息,请参见SSD云盘和本地盘的区别。 部署类型 集群 集群:至少3个云服务器节点组成的服务器群组,计算节点DN形成安全环,保证主备高可靠。
迁移前准备 已经购买了GaussDB(DWS)集群,并已绑定弹性公网IP,并已规划创建好目标数据库dws_vd。 已获取Kettle工具包,下载地址(本文以9.4.0.0-343版本为例)。 已安装JDK 1.8环境,并配置相关环境变量。 已获取Kettle工具套件。
将GDS工具包上传至ECS的/opt目录中,本例以上传Euler Kunpeng版本的工具包为例。 在工具包所在目录下,解压工具包。
表示自动选取IP进行连接,优先级EIP > ELB > 私有IP。 eip:使用弹性公网IP连接。 elb:使用弹性负载均衡连接,优先级elb_public > elb_private。 elb_public:使用弹性负载均衡公网IP连接。
系统资源加固:GaussDB(DWS)在底层虚拟机已预置了安全相关参数,确保ECS/BMS底层的OS安全环境。 数据库与外部网络隔离 GaussDB(DWS)在单独的虚拟私有云VPC网络中,各VPC之间相互隔离。
弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。
更改所有者,必须是外部服务器的所有者并且也是新的所有者角色的直接或者间接成员,并且必须对外部服务器的外部数据封装器有USAGE权限。 new_name 修改后server的新名称。
如下是DWS的简单的ECS+EVS部署结构: ECS提供计算资源,包括CPU、内存配置,DWS数据库实例(CN、DN等)都部署在ECS上。 EVS提供存储资源,每个DN都会挂载一块EVS云盘。 而组成DWS集群的所有ECS节点都部署在同一个VPC内部,提供高速网络通道。
表2 硬件配置 参数项 取值样例 计费模式 按需计费 可用区 可用区2 虚拟私有云 vpc-01 子网 subnet-01 安全组 自动创建 弹性公网IP 10.x.x.x 企业项目 default Master节点 2 分析Core节点 3 分析Task节点 0 填写高级配置参数如下表
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。
GDS导入示例 示例:多数据服务器并行导入 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90和192.168.0.91。数据源文件格式为CSV。 创建导入的目标表tpcds.reasons。