-
迁移流程 - 数据仓库服务 GaussDB(DWS)
EST数据为例。 网络互通说明:本实践的Oracle数据库在云下,通过云数据迁移服务CDM连接Oracle和DWS。其中CDM通过公网IP与Oracle连通;CDM与DWS默认在同一个区域、虚拟私有云下,网络互通。实际迁移过程请确保网络互通,本章节不详细介绍网络如何打通。 本实践
-
示例:常用操作 - 数据仓库服务 GaussDB(DWS)
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
-
OBS导入数据示例 - 数据仓库服务 GaussDB(DWS)
在GaussDB(DWS)上,创建外表tpcds.customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示:
-
查看或导入MRS的Hive数据最佳实践 - 数据仓库服务 GaussDB(DWS)
端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数
-
示例:常用操作 - 数据仓库服务 GaussDB(DWS)
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
-
GDS实践指南 - 数据仓库服务 GaussDB(DWS)
GDS实践指南 安装GDS前必需确认GDS所在服务器环境的系统参数是否和数据库集群的系统参数一致。 GDS与GaussDB(DWS)通信要求物理网络畅通,尽量使用万兆网。因为千兆网无法承载高速的数据传输压力,极易出现断连,使用千兆网时GaussDB(DWS)无法提供通信保障。满足万兆网
-
如何使用VPC共享来处理GaussDB(DWS)资源? - 数据仓库服务 GaussDB(DWS)
可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。更多信息请参见共享VPC。 约束与限制 所有者和使用者的子网在同一个VPC内,子网默认网络互通。但是由于使用者和所有者位于共享子网内的资源关联不同的安全组内,因此资源之间网络隔离,如果
-
资源对SMP性能的影响 - 数据仓库服务 GaussDB(DWS)
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
-
查看集群详情 - 数据仓库服务 GaussDB(DWS)
连接集群时建议连接ELB地址。 表3 网络 参数 参数说明 区域 集群的工作区域。 可用分区 显示创建集群时所选择的可用分区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS) 集群
-
LOW - 数据仓库服务 GaussDB(DWS)
LOW_PRIORITY MySQL UPDATE语句如果使用LOW_PRIORITY修饰符,则执行UPDATE延迟。 输入示例 1 2 #测试 LOW_PRIORITY 语法点 UPDATE LOW_PRIORITY employees SET department_id=2;
-
SMP适用场景与限制 - 数据仓库服务 GaussDB(DWS)
SMP适用场景与限制 背景信息 SMP特性通过算子并行来提升性能,同时会占用更多的系统资源,包括CPU、内存、网络、I/O等等。本质上SMP是一种以资源换取时间的方式,在合适的场景以及资源充足的情况下,能够起到较好的性能提升效果;但是如果在不合适的场景下,或者资源不足的情况下,反
-
GDS导入数据时是否支持使用公网/外网导入? - 数据仓库服务 GaussDB(DWS)
(DWS)在内网互通的前提下,使用集群内每个DN去并行连接GDS服务器,以达到大容量并行导入的目的,因此必须确保GDS服务器与集群在同一个网络内。如果GDS为线下服务器,则需要打通防火墙,并且GaussDB(DWS)集群需要使用EIP,但一个集群只能绑定一个EIP,也无法实现GDS的多DN连接导入。
-
获取集群连接地址 - 数据仓库服务 GaussDB(DWS)
集群开启IPV6功能后,内网IP会同时展示IPV4和IPV6,您可根据需要进行使用。 公网域名 通过外部网络访问集群数据库的域名地址。更多信息请参见管理集群访问域名。 说明: 不支持负载均衡能力。 公网IP 通过外部网络访问集群数据库的IP地址。 说明: 如果创建集群时没有绑定弹性IP,“公网IP”显
-
gds - 数据仓库服务 GaussDB(DWS)
表2 磁盘检查 检查项 警告 磁盘空间使用率 大于等于70%且小于90% inode使用率 大于等于70%且小于90% 表3 网络检查 检查项 报错 检查网络连通性 包100%丢失 检查网卡多队列 开启网卡多队列且绑定不同CPU,支持fix修改 语法 检查命令 gds_check -t
-
LOW - 数据仓库服务 GaussDB(DWS)
LOW_PRIORITY MySQL INSERT插入语句使用LOW_PRIORITY修饰符时,则执行该INSERT延迟。 输入示例 1 2 3 4 5 6 # LOW_PRIORITY 低优先级 INSERT LOW_PRIORITY INTO exmp_tb2 VALUES(
-
SMP手动调优建议 - 数据仓库服务 GaussDB(DWS)
SMP手动调优建议 如果想手动进行SMP调优,需要熟练掌握SMP相关参数配置建议,并了解本节内容。 使用限制 系统的CPU、内存、I/O和网络带宽等资源充足。SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会引起资源消耗的增加,当上述资源成为瓶颈的情况下,SMP无法
-
从GaussDB(DWS)集群导入数据到新集群 - 数据仓库服务 GaussDB(DWS)
将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表的列名和类型名要完全一致,且远端表的类型为行存表、列存表、哈希表或者复制表。 如果关联的表在另外一个集群
-
执行导入数据 - 数据仓库服务 GaussDB(DWS)
据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。
-
为什么自动快照创建很慢,很长时间都没有创建好? - 数据仓库服务 GaussDB(DWS)
地增加备份频率。 其中快照备份和恢复速率如下所示(此速率为实验室测试环境下数据,介质为SSD本地盘,仅供用户参考。在实际使用中,由于磁盘、网络、带宽等因素可能会产生一定的差异): 备份速率:200 MB/s/DN 恢复速率:125 MB/s/DN 父主题: 快照备份恢复
-
优化查询性能概述 - 数据仓库服务 GaussDB(DWS)
以大大降低应用系统的运行风险,提高系统稳定性,给客户带来更大的价值。 SQL调优的唯一目的是“资源利用最大化”,即CPU、内存、磁盘IO、网络IO四种资源利用最大化。所有调优手段都是围绕资源使用开展的。所谓资源利用最大化是指SQL语句尽量高效,节省资源开销,以最小的代价实现最大的