-
GDS实践指南 - 数据仓库服务 GaussDB(DWS)
GDS实践指南 安装GDS前必需确认GDS所在服务器环境的系统参数是否和数据库集群的系统参数一致。 GDS与GaussDB(DWS)通信要求物理网络畅通,尽量使用万兆网。因为千兆网无法承载高速的数据传输压力,极易出现断连,使用千兆网时GaussDB(DWS)无法提供通信保障。满足
-
入门实践 - 数据仓库服务 GaussDB(DWS)
不指定存储方式,分布键、分布方式和压缩方式创建表,然后为这些表加载测试数据并测试系统性能。接下来,您将应用优秀实践以使用新的存储方式、分布键、分布方式和压缩方式重新创建这些表,并再次为这些表加载测试数据和测试系统性能,以便比较不同的设计对表的加载性能、存储空间和查询性能的影响。 估计时间:60
-
GAUSS-02011 -- GAUSS-02020 - 数据仓库服务 GaussDB(DWS)
中检测到错误。根据""%s""给出的主备连接返回的错误信息进行处理。" 解决办法:"1. 网络连接超时异常/当前主机业务压力大,调整当前网络环境/调整业务压力。2. 主机异常关闭,检查主机异常关闭原因。" GAUSS-02012: "data replication terminated
-
手动续费 - 数据仓库服务 GaussDB(DWS)
如需充值,请参见以下指导完成充值: 登录管理控制台。 单击界面右上角的“费用中心 > 续费管理”。 在左侧导航树单击“总览”,在总览页面单击“充值”对账户进行充值。 包年/包月计费模式 登录GaussDB(DWS)管理控制台。 单击“集群管理”。默认显示用户所有的集群列表。 在集群列表中,在指定集群所在行的“操作”列,选择“续费”。
-
GAUSS-02001 -- GAUSS-02010 - 数据仓库服务 GaussDB(DWS)
网络连接超时异常/当前主机业务压力大,调整当前网络环境/调整业务压力。2. 主机异常关闭,检查主机异常关闭原因。" GAUSS-02005: "invalid response from primary server" SQLSTATE: XX000 错误原因:备机收到主机发送的系统标识消息长度错误。
-
GaussDB(DWS) 使用简介 - 数据仓库服务 GaussDB(DWS)
执行数据分析任务前,您首先要创建一个集群。一个GaussDB(DWS) 集群由多个在相同子网中的节点组成,共同提供服务。创建集群时,系统会创建一个默认数据库。 创建DWS 2.0集群 创建包年/包月集群 连接集群 - GaussDB(DWS) 集群创建完成后,您就可以使用SQL客户端工具或者JDBC/OD
-
步骤2:测试初始表结构下的系统性能并建立基线 - 数据仓库服务 GaussDB(DWS)
步骤2:测试初始表结构下的系统性能并建立基线 在优化表结构前后,请测试和记录以下详细信息以对比系统性能差异: 数据加载时间。 表占用的存储空间大小。 查询性能。 本次实践中的示例基于使用8节点的dws.d2.xlarge集群。因为系统性能受到许多因素的影响,即使您使用相同的集群配置,结果也会有所不同。
-
执行SQL语句时提示“Connection reset by peer” - 数据仓库服务 GaussDB(DWS)
Datanodes Detail: Connection reset by peer 原因分析 在网络压力大的情况下会因为socket通信问题,出现断连现象。 解决办法 通过流控机制防止网络压力过大,需要设置以下GUC参数的值控制网络流量峰值。 comm_quota_size = 400,comm_usable_memory
-
GAUSS-02041 -- GAUSS-02050 - 数据仓库服务 GaussDB(DWS)
错误原因:"备机向主机进行版本校验,主机返回失败。根据""%s""给出的主备连接返回的错误信息进行处理。" 解决办法:"1. 网络连接超时异常/当前主机业务压力大,调整当前网络环境/调整业务压力。2. 主机异常关闭,检查主机异常关闭原因。" GAUSS-02050: "could not get the local
-
表设计 - 数据仓库服务 GaussDB(DWS)
集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。 【关注】将表的扫描压力均匀分散在各个DN上。避免扫描压力集中在部分DN上,而导致性能瓶颈。例如,在事实表上使用等值过滤条件时,将会导致扫描压力不均匀。 【关注】减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。
-
GAUSS-02051 -- GAUSS-02060 - 数据仓库服务 GaussDB(DWS)
错误原因:"备机/从备连接主机开启日志复制失败。根据""%s""给出的主备连接返回的错误信息进行处理。" 解决办法:"1. 网络连接超时异常/当前主机业务压力大,调整当前网络环境/调整业务压力。2. 主机异常关闭,检查主机异常关闭原因。" GAUSS-02059: "could not receive data from
-
表设计 - 数据仓库服务 GaussDB(DWS)
集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。 【关注】将表的扫描压力均匀分散在各个DN上。避免扫描压力集中在部分DN上,而导致性能瓶颈。例如,在事实表上使用等值过滤条件时,将会导致扫描压力不均匀。 【关注】减少需要扫描的数据量。通过分区表的剪枝机制可以大幅减少数据的扫描量。
-
审视和修改表定义 - 数据仓库服务 GaussDB(DWS)
表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压力均匀分散在各个DN上,以避免单DN的Scan压力过大,形成Scan的单节点瓶颈。分布列不选择基表上等值filter中的列可以实现该点。 减少扫描数据量。通过分区的剪枝机制可以实现该点。
-
GAUSS-01991 -- GAUSS-02000 - 数据仓库服务 GaussDB(DWS)
错误原因:主备心跳超时,备机感知心跳超时关闭主备连接。 解决办法:"1. 检查主机上的业务压力及网络环境,确定问题原因。2. 根据具体的情况,使用gs_guc工具调大wal_sender_timeout/wal_receiver_timeout或者减小压力。" GAUSS-01995: "terminating datareceiver
-
配置JDBC连接(使用负载均衡方式) - 数据仓库服务 GaussDB(DWS)
配置JDBC连接(使用负载均衡方式) 背景信息 很多用户在使用JDBC连接集群时只连接集群的一个CN,这就导致单个CN压力较大并且别的CN资源浪费,并且这种方式还有单点故障导致连接不可用的风险。 用户可使用JDBC连接多个CN避免以上问题。主要有以下两种方式: 使用ELB连接集群
-
经典变更规格 - 数据仓库服务 GaussDB(DWS)
情况下的数据恢复。 该特性需联系技术支持人员升级使用。 IoT集群和单机部署的实时数仓集群暂不支持经典变更规格功能。 如果当前集群是包年/包月计费模式,将不支持该功能。 DWS 3.0集群暂不支持经典变更规格功能。 在经典变更规格期间新集群是不计费的,当变更成功后开始计费。变更完成后老集群处于保留期,不再计费。
-
降低IO的处理方案 - 数据仓库服务 GaussDB(DWS)
FULL,因大表的VACUUM FULL也会消耗大量IO,因此需要在业务低峰时执行,避免加剧业务高峰期IO压力。 当脏数据产生很快,频繁VACUUM FULL也会消耗大量IO,甚至加剧整个系统的IO瓶颈,这时需要考虑脏数据的产生是否合理。针对频繁DELETE的场景,可以考虑如下方案: 全量
-
为两种作业绑定不同资源池以实现资源负载能力 - 数据仓库服务 GaussDB(DWS)
结合报表分析业务的负载调研、日常监控和测试验证,50并发以内的复杂报表SQL不会引起服务器资源争抢,不会引起业务系统卡慢,配置报表用户可使用20%的CPU资源。 结合核心交易业务的负载调研、日常监控和测试验证,100并发以内的查询SQL不会对系统造成持续压力,配合交易用户可使用60%的CPU资源。
-
教程:已有数据的物理集群转换逻辑集群 - 数据仓库服务 GaussDB(DWS)
但随着业务规模不断扩大,集群系统中的业务数目越来越多,通过划分多个资源池来管理越来越难以控制资源竞争。由于GaussDB(DWS)的分布式架构,业务数据被分散存储在多个节点上即每个表都会分布在数据库集群的所有DN节点上,因此每次数据表操作都可能会涉及所有DN节点,导致网络压力增大和系统资源大量消耗
-
产品功能 - 数据仓库服务 GaussDB(DWS)
如果用户需要在云上环境中使用数据仓库服务,首先应创建一个GaussDB(DWS)集群。用户可根据业务需求选择相应的产品规格和节点规格快速创建集群。您也可以先购买包年/包月,然后再创建集群。 管理快照 快照是GaussDB(DWS) 集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据,