检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群节点的数量。支持的节点数范围为3~256。 图2 数据仓库配置 单击“下一步:网络配置”。 参见表4进行网络配置。 表4 网络配置 参数 示例 说明 虚拟私有云 vpc-default GaussDB(DWS)所在的虚拟私有云网络。 子网 subnet-default(192.168.0.0/24)
【关注】尽量避免数据shuffle。shuffle是指在物理上,数据从一个节点传输到另一个节点。shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。
GDS实践指南 安装GDS前必须确认GDS所在服务器环境的系统参数是否和数据库集群的系统参数一致。 GDS与GaussDB(DWS)通信要求物理网络畅通,尽量使用万兆网。因为千兆网无法承载高速的数据传输压力,极易出现断连,使用千兆网时GaussDB(DWS)无法提供通信保障。满足万兆网
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
数据库监控(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,为客户数据库的快速、稳定运行提供保驾护航的能力。该功能对业务数据库所使用磁盘、网络、OS指标数据,集群运行关键性能指标数据进行收集、监控、分析。 监控项 节点监控 性能监控 数据库监控 历史查询 实时查询 实例监控 负载监控
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
【关注】尽量避免数据shuffle。shuffle是指在物理上,数据从一个节点传输到另一个节点。shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
表2 磁盘检查 检查项 警告 磁盘空间使用率 大于等于70%且小于90% inode使用率 大于等于70%且小于90% 表3 网络检查 检查项 报错 检查网络连通性 包100%丢失 检查网卡多队列 开启网卡多队列且绑定不同CPU,支持fix修改 语法 检查命令 gds_check -t
据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。
将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表的列名和类型名要完全一致,且远端表的类型为行存表、列存表、哈希表或者复制表。 如果关联的表在另外一个集群
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
入Am的过程,这样会频繁发生网络IO去重新缓存小表的数据,此时会极大的降低大表join小表的性能。 调优语法 当前提供了一种新的调优策略,即允许用户将上述描述场景中的小表数据直接入到Am队列中,保证小表的数据一直是热数据,join时不会频繁的发生网络IO而去重新加载小表数据,语法格式支持以下三种:
再汇总到CN再返回给应用程序。 3 OS层 DWS集群安装的OS 该层提供DWS运行的底座,OS,文件系统,网络服务等。 4 虚拟机层 DWS集群所在的虚拟机 云硬盘、网络、CPU、内存等。 表2 集群高可用高可靠风险和建议 集群配置 推荐措施 缺失配置的风险 配置负载均衡 使用
密执行命令、传送文件。 前提条件 SSH服务已打开。 SSH端口不会被防火墙关闭。 xml文件中各主机名称和IP配置正确。 所有机器节点间网络畅通。 如果为普通用户建立互信,需要提前在各主机创建相同用户并设置密码。 如果各主机安装并启动了SELinux服务,需要确保/root和/
指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 - 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。
地增加备份频率。 其中快照备份和恢复速率如下所示(此速率为实验室测试环境下数据,介质为SSD本地盘,仅供用户参考。在实际使用中,由于磁盘、网络、带宽等因素可能会产生一定的差异): 备份速率:200 MB/s/DN 恢复速率:125 MB/s/DN 父主题: 备份恢复
ram暂存在swap中的大小(单位:KB)。 ≥ 0 中毒页面中的内存量(单位:KB)。 ≥ 0 网络状态统计 网卡名称。 字符串 30s 采集集群各个节点的各个网卡状态,可用来监控集群网卡丢包数和集群网络吞吐量。 NA 网卡状态(up/down)。 up/down 网卡速度(千兆/百兆)。
CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如果用户当前使用的集群资源不足,会降低数据库运行速度并影响数据库性能。 GaussDB(DWS)监控信息功能提供了丰富的监控指标,您可以通过集群的各项监控指标(CPU使用率、内存使用率、磁盘使用率、磁盘I/O、网络I/O等),掌握
CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如果用户当前使用的集群资源不足,会降低数据库运行速度并影响数据库性能。 GaussDB(DWS)监控信息功能提供了丰富的监控指标,您可以通过集群的各项监控指标(CPU使用率、内存使用率、磁盘使用率、磁盘I/O、网络I/O等),掌握