检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gds 背景信息 gds可以为GaussDB(DWS)提供导入导出数据的功能。更多详细内容可参考《开发指南》的“导入数据”和“导出数据”章节。 语法 gds [ OPTION ] -d DIRECTORY 其中,-d、-H是必选参数,option项是可选参数。gds将DIRECTORY
从MRS Hive导入表数据到GaussDB(DWS)集群 本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长
清除资源 当完成本教程的示例后,如果您不再需要使用本示例中创建的资源,您可以删除这些资源,以免资源浪费或占用您的配额。 删除外表和目标表 (可选)如果执行了导入数据后查询数据,请执行以下命令,删除目标表。 1 DROP TABLE product_info; 执行以下命令,删除外表
连接管理 简介 在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。 不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接
CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表,用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC格式数据到HDFS或者OBS上。 数据存储在OBS:数据存储和计算分离
安装配置和启动GDS GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤
JDBC版本说明 版本 8.3.1.200 新增特性: JDBC负载均衡支持CN存活列表自动感知。 新增参数cnListRefreshSwitch,是否开启自动感知CN存活列表,默认为off。 新增参数cnListRefreshDelay,配置开启自动感知CN存活列表的延迟时间,默认为
ALTER INDEX 功能描述 ALTER INDEX用于修改现有索引的定义。 注意事项 只有索引的所有者有权限执行此命令,系统管理员默认拥有此权限。 语法格式 重命名表索引的名字,支持新的索引名字前带有原索引所在的schema名,但是不支持同时修改schema名。 1 2 3
ALTER INDEX 功能描述 ALTER INDEX用于修改现有索引的定义。 注意事项 只有索引的所有者有权限执行此命令,系统管理员默认拥有此权限。 语法格式 重命名表索引的名字,支持新的索引名字前带有原索引所在的schema名,但是不支持同时修改schema名。 1 2 3
CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表,用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC格式数据到HDFS或者OBS上。 数据存储在OBS:数据存储和计算分离
libpq GS_251030014 错误码: could not bind %s socket at the %d time: %m. 解决方案:请确认另一个postmaster是否已在端口%d上运行,如果没有请删除套接字文件“%s”并重试。 level: LOG GS_251030015
CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 功能描述 在当前数据库创建一个HDFS或OBS外表,用来访问存储在HDFS或者OBS分布式集群文件系统上的结构化数据。也可以导出ORC和PARQUET格式数据到HDFS或者OBS上。 数据存储在
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同
步骤5:测试新的表结构下的系统性能 重新创建了具有存储方式、压缩级别、分布方式和分布列的测试数据集后,重新测试系统性能。 记录各表的存储使用情况。 使用pg_size_pretty函数查询每张表使用的磁盘空间,并将结果记录到基准表中。 1 SELECT T_NAME, PG_SIZE_PRETTY
步骤2:测试初始表结构下的系统性能并建立基线 在优化表结构前后,请测试和记录以下详细信息以对比系统性能差异: 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置
创建外表 在GaussDB(DWS)数据库中创建一个Hadoop外表,用来访问存储在MRS HDFS文件系统上的Hadoop结构化数据。Hadoop外表是只读的,只能用于查询操作,可直接使用SELECT查询其数据。 前提条件 已创建MRS集群,并将数据导入Hive/Spark数据库中的
FAQs 如果连接失败,需要检查哪些方面? 解答:检查以下几个方面: 验证连接属性,检查连接属性输入是否正确。 检查服务器和客户端版本是否兼容。 检查database\pg_hba.conf文件是否正确配置。 检查Data Studio.ini文件是否正确配置。 当用户通过SSL证书尝试和另一服务器建立连接时
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同
查询集群CN节点 功能介绍 该接口用于查询指定集群的CN节点信息。 调用方法 请参见如何调用API。 URI 1 GET /v1.0/{project_id}/clusters/{cluster_id}/cns 表1 路径参数 参数 是否必选 参数类型 描述 project_id
OPEN SOURCE SOFTWARE NOTICE (For PostGIS) This document contains open source software notice for the product. And this document is confidential