检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
transaction>, hold lockmode (null). 这是由于分布式锁导致的,两个DN节点都锁住了自己的数据块,然后又在等待对方的数据块,所以导致锁超时。 这种行为是两阶段锁的特性,分布式情况下都会面临这样的问题。 处理方法 建议对单表执行MERGE,将并发操作改为串行。
点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执行一次vacuum,从而释放了存储空间,因此,扩容后已使用存储容量减少了很多。 处理方法 建议您定期做vacuum full清理与回收存储空间,防止数据膨胀。
审视和修改表定义 在分布式框架下,数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上,较好的表定义需要满足以下要求: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压
审视和修改表定义 在分布式框架下,数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上,较好的表定义需要满足以下要求: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压
function 'PGXC_POOL_CONNECTION_STATUS' in distributed query. 解决方案:请使用不与分布式表连接的简单查询。 level: ERROR 父主题: 通信
查看重分布详情 在“重分布详情”页面可以查看到当前集群的重分布模式、重分布进度、数据表重分布详情等监控信息,可以对重分布进行暂停和恢复,重分布暂停状态可设置重分布优先级,修改重分布并发数等操作。 查看重分布详情功能8.1.1.200及以上集群版本支持,其中数据表重分布进度详情仅8
PGXC_DEADLOCK PGXC_DEADLOCK视图获取导致分布式死锁产生的锁等待信息。 目前,PGXC_DEADLOCK视图只收集locktype为relation、partition、page、tuple和transactionid的锁等待信息。 表1 PGXC_DEADLOCK字段
不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务类型是决定表的存储类型的主要因素,表存储类型的选择依据请参考表1。 表1 表的存储类型及场景 存储模型 优点 缺点 适用场景 行存 数据按照行进行存储,在查询某一行数据时,可以快速定位到目标位置。
仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务类型是决定表的存储类型的主要因素,表存储类型的选择依据请参考表1。 表1 表的存储类型及场景 存储类型 适用场景 行存 点查询(返回记录少,基于索引的简单查询)。
目前GaussDB(DWS)可以支持绝大多数常用函数的下推,不下推函数的场景主要出现在自定义函数属性定义错误的情况下。 不下推语句的执行方式没有利用分布式的优势,其在执行过程中,相当于把大量的数据和计算过程汇集到一个节点上去做,因此性能通常非常差。 分析过程 通过EXPLAIN VERBOSE打印语句执行计划。
为增强可靠性,每个节点都有一个副本,副本会占用一半的存储空间,选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据,生成索引、临时缓存文件、运行日志等内容,并占用存储容量。每个节点实际存储的数据,大致为总存储容量的一半。 父主题: 数据迁移
generate stream element due to out of memory" SQLSTATE: 53200 错误原因:无法创建分布式内部对象。 解决办法:内存不够用,检查内存使用情况,清理缓存。 GAUSS-02262: "Distribute query fail due
3.2.0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议
分别进行介绍。 存储层数据倾斜 GaussDB(DWS)数据库中,数据分布存储在各个DN上,通过分布式执行提高查询的效率。但是,如果数据分布存在倾斜,则会导致分布式执行某些DN成为瓶颈,影响查询性能。这种情况通常是由于分布列选择不合理,可以通过调整分布列的方式解决。 例如下例:
h等)和库libodbc.so。这些头文件和库可从unixODBC-2.3.0的安装包中获得。 Windows下的ODBC包 从软件包中获取,包名为dws_8.x.x_odbc_driver_for_windows.zip。Windows环境下,开发应用程序用到的相关头文件和库文件都由系统自带。 父主题:
分别进行介绍。 存储层数据倾斜 GaussDB(DWS)数据库中,数据分布存储在各个DN上,通过分布式执行提高查询的效率。但是,如果数据分布存在倾斜,则会导致分布式执行某些DN成为瓶颈,影响查询性能。这种情况通常是由于分布列选择不合理,可以通过调整分布列的方式解决。 例如下例:
oid 物理文件所属表空间对应的OID。 relfilenode oid 物理文件的物理文件编号。 backendid integer 创建物理文件的后台线程号,通常为-1。 type integer 物理文件的文件类型。 0为数据类型。 1为FSM文件类型。 2为VM文件类型。 3为BCM文件类型。
oid 物理文件所属表空间对应的OID。 relfilenode oid 物理文件的物理文件编号。 backendid integer 创建物理文件的后台线程号,通常为-1。 type integer 物理文件的文件类型。 0为数据类型。 1为FSM文件类型。 2为VM文件类型。 3为BCM文件类型。