检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。 操作步骤 以root用户登录数据服务器。 创建数据文件存放目录“/input_data”。
Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建数据文件存放目录“/ou
变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时: 用户可以根据自己的需求编写程序,将需要处理的流式数据实时从管道中读取内容,完成导出的数据清洗工作。 当
管理SQL终端连接 在Data Studio中,用户查看执行计划和成本、可视化计划解释以及在结果集中进行操作时,可重用SQL终端中的现有连接或新建连接。默认情况下,SQL终端会重用现有连接。当有多个查询在现有连接中排队等待执行时,请使用新连接,因为查询会按顺序执行且可能存在延迟。
存访问密钥。 配置JDBC连接使用IAM认证方式连接集群 配置JDBC连接参数 表1 数据库连接参数 参数 描述 url gsjdbc4.jar/gsjdbc200.jar数据库连接描述符。JDBC接口不提供重试连接的能力,您需要在业务代码中实现重试连接的处理。url示例如下:
往GaussDB(DWS)写数据慢,客户端数据会有积压 问题现象 客户端往GaussDB(DWS)写入数据较慢,客户端数据会有积压。 原因分析 如果通过单条INSERT INTO语句的方式单并发写数据入库,客户端很可能会出现瓶颈。INSERT是最简单的一种数据写入方式,适合数据写入量不大,并发度不高的场景。
WS)线上SQL编辑器,以便用户能更好的使用GaussDB(DWS)。 数据开发工具目前支持用户直接在GaussDB(DWS)管理控制台上连接集群数据库,提供数据库的各种元数据列表详情展示功能,以及SQL编辑执行功能,返回结果还可以展示成不同图表,且结合OBS服务提供脚本保存功能
使用SQL编辑器连接GaussDB(DWS)集群 概述 使用SQL编辑器连接集群 数据开发操作 数据开发设置 父主题: 使用可视化工具连接GaussDB(DWS)集群
(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。 操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下: format:GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如,待入库的数据为CSV格式。
新建连接”,或单击工具栏上的“新建连接”按钮连接到数据库服务器,弹出“新建/选择数据库连接”对话框。 “新建/选择数据库连接”对话框的左侧列表中显示已有连接信息和服务器信息。 双击连接名称,可自动填充“名称”、“主机名”和“端口号”等连接参数。 如果任何现有连接信息的密码或密钥损
PG_COMM_CLIENT_INFO视图存储单个节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PG_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。
使用Python第三方库PyGreSQL连接集群 用户在创建好数据仓库集群后使用PyGreSQL第三方库连接到集群,则可以使用Python访问GaussDB(DWS),并进行数据表的各类操作。 连接集群前的准备 GaussDB(DWS)集群已绑定弹性IP。 已获取GaussDB(
PG_COMM_CLIENT_INFO视图存储单个节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PG_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
PGXC_COMM_CLIENT_INFO视图存储所有节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PGXC_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。
PGXC_COMM_CLIENT_INFO视图存储所有节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PGXC_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。
使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
表机制的配合,实现数据的高速导出。 当不在使用GDS时,可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。
当前的数据库用户过滤数据库的create权限以及过滤schema的usage权限。 确认无误后,单击“确认”。 父主题: 使用SQL编辑器连接GaussDB(DWS)集群