检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例:创建GDS导出外表foreign_tpcds_reasons,待导出数据格式为CSV,用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示: 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,待导出的数据文件格式为CSV,选择并行导出模式为Remote模式。
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因: 弹性云服务器是否与集群在相同可用分区、虚拟私有云、子网和安全组。 安全组的出入规则是否正确。 如果是在互联网环境无法连接,还需要检查以下可能导致异常的原因:
(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下: format:GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如,待入库的数据为CSV格式。
Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建数据文件存放目录“/ou
数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。如图2所示。 图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过,会出现一个DN连接多个GDS进程的情形,可能会导致部分GDS异常运行。 数据存储在一台数据服务器上时,如
变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时: 用户可以根据自己的需求编写程序,将需要处理的流式数据实时从管道中读取内容,完成导出的数据清洗工作。 当
信息。 表1 PG_NODE_ENV字段 名称 类型 描述 node_name text 当前节点名称。 host text 当前节点的主机名称。 process integer 当前节点的进程号。 port integer 当前节点的端口号。 installpath text 当前节点的安装目录。
使用ODBC连接 GaussDB(DWS)支持使用ODBC应用程序连接数据库。应用程序可以在华为云平台环境的弹性云服务器中,或者互联网环境连接数据库。 ODBC接口的使用方法,请自行查阅官方文档。 前提条件 已下载Linux版本的ODBC驱动包“dws_x.x.x_odbc_driver_for_xxx
信息。 表1 PG_NODE_ENV字段 名称 类型 描述 node_name text 当前节点名称。 host text 当前节点的主机名称。 process integer 当前节点的进程号。 port integer 当前节点的端口号。 installpath text 当前节点的安装目录。
户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。 背景信息 GDS的版本需与集群版本保持一致(如:GDS
DS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。 mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。
PGXC_NODE_ENV字段 名称 类型 描述 node_name text 集群中所有节点的名称。 host text 集群中所有节点的主机名称。 process integer 集群中所有节点的进程号。 port integer 集群中所有节点的端口号。 installpath
PGXC_NODE_ENV字段 名称 类型 描述 node_name text 集群中所有节点的名称。 host text 集群中所有节点的主机名称。 process integer 集群中所有节点的进程号。 port integer 集群中所有节点的端口号。 installpath
integer 节点的端口号。 node_host name 节点的主机名称或者IP(如配置为虚拟IP,则为虚拟IP)。 node_port1 integer 复制节点的端口号。 node_host1 name 复制节点的主机名称或者IP(如配置为虚拟IP,则为虚拟IP)。 hostis_primary
afka不在同一VPC时,需要将该IP替换为公网IP,右边地址为broker对应的主机名称,可以登录FusionInsightManage,进入Kafka集群,获取对应broker实例对应的主机名称。 安全模式 否 MRS-Kafka配置参数,安全模式打开时,需要进行Kerberos认证。
参数解释 内网域名 通过内部网络访问集群数据库的域名地址,对应所有的内网IP地址,即所有CN的地址。内网访问域名在创建集群时自动生成。默认命名规则为:集群名称.dws.myhuaweicloud.com。 说明: 如果集群名称不符合域名规范,默认的访问域名前缀会相应做一些调整。 不支持负载均衡能力。
已了解对应参数对数据库的影响,否则可能会导致无法预料的结果。 注意事项 参数中如果取值范围为字符串,此字符串应遵循操作系统的路径和文件名命名规则。 取值范围最大值为INT_MAX的参数,此选项最大值跟所在的操作系统有关。 取值范围最大值为DBL_MAX的参数,此选项最大值跟所在的操作系统有关。
用户可使用JDBC连接多个CN避免以上问题。主要有以下三种方式: 使用ELB连接集群:弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。 使用JDBC负载均衡连接集群: 开启JDBC
已了解对应参数对数据库的影响,否则可能会导致无法预料的结果。 注意事项 参数中如果取值范围为字符串,此字符串应遵循操作系统的路径和文件名命名规则。 取值范围最大值为INT_MAX的参数,此选项最大值跟所在的操作系统有关。 取值范围最大值为DBL_MAX的参数,此选项最大值跟所在的操作系统有关。