检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service,简称MRS)将数据从MRS迁移到GaussDB(DWS)集群,实现海量数据通过Hadoop处理后使用GaussDB(DWS)进行分析查询。 与云数据迁移的关系 您可使用云数据迁移(Cloud Data Migration,简称CDM)实现多种数据源数据到GaussDB(DWS)的迁移。
dn_6003_6004: unable to get a stable set of rows in the source tables 原因分析 源表newproducts中product_id为1502的数据有两条,且参数behavior_compat_options缺省,因此MERGE
要清理的表的名称(可以有模式修饰)。 取值范围:要清理的表的名称。缺省时为当前数据库中的所有表。 column_name 要分析的具体的字段名称。 取值范围:要分析的具体的字段名称。缺省时为所有字段。 PARTITION HDFS表不支持PARTITION参数,PARTITION参数不能和COMPACT同时使用。
描述:用户在该表上最后一次手动启动分析或者autovacuum线程启动分析的时间。 返回值类型:timestamptz pg_stat_get_last_autoanalyze_time(oid) 描述:autovacuum守护线程在该表上最后一次启动分析的时间。 返回值类型:timestamptz
了plan node id,性能分析简单直接。如图2。 图2 pretty格式执行计划示例 summary:是在pretty的基础上增加了对打印信息的分析。 run:在summary的基础上,将统计的信息输出到csv格式的文件中,以便于进一步分析。 常见类型计划 GaussDB(DWS)中当前主要存在三类分布式计划:
规格限制: DML语句都会显示执行计划,DDL语句不显示执行计划。 当用户下发PBE(Parse Bind Execute)批处理语句时,为了便于分析语句情况,自8.2.1.100集群版本开始,为批处理的PBE语句的执行计划添加数据绑定次数,显示为“PBE bind times:次数”格式。
Filter: 81920000 Partitions Selected by Static Prune: 1..6 优化后 分析语句的执行计划,查看执行计划中的SQL自诊断信息,发现如下诊断信息: SQL
query_band='JobName=abc;AppName=test;UserName=user'; 每个SQL开头标记注释,唯一标识SQL的归属,方便问题定位及应用性能分析,命名建议为: /* 模块名_工具名_作业名_步骤 */,如: /* mca_python_xxxxxx_step1 */ insert into
修复临时变量未初始化导致的freememory大负数问题。 临时变量声明后,未赋值导致参数值非预期,后续再去扣减内存,出现大负数。 8.2.1.220 智能运维配置VACUUM FULL后,VACUUM FULL实际执行时间超过配置的时间区间。 调度器kill VACUUM FULL任务时插入
通过gsql客户端无法连接数据库 问题现象 用户通过客户端工具gsql无法连接到数据库。 原因分析 系统连接数量超过了最大连接数量,会显示如下错误信息。 1 2 gsql -d human_resource -h 10.168.0.74 -U user1 -p 8000 -W password
Filter: 81920000 Partitions Selected by Static Prune: 1..6 优化后 分析语句的执行计划,查看执行计划中的SQL自诊断信息,发现如下诊断信息: SQL
查询历史TopSQL Query以及算子级别数据时,仅能通过postgres数据库进行访问。 历史TopSQL侧重于查询性能的定位定界辅助分析,不作为审计功能使用,不记录语法分析报错类语句。 8.2.1集群版本开始,新增GUC参数resource_track_subsql_duration(默认值
query_band='JobName=abc;AppName=test;UserName=user'; 每个SQL开头标记注释,唯一标识SQL的归属,方便问题定位及应用性能分析,命名建议为: /* 模块名_工具名_作业名_步骤 */,如: /* mca_python_xxxxxx_step1 */ insert into
ORDER BY A1.DECLARATION_DT DESC) AS RN FROM tb_date_type_casting A1; 分析函数(analytic_function) Netezza语法 迁移后语法 1 2 3 4 5 6 7 8 9 10 11
开发指南>GUC参数>查询规划>其他优化器选项 优化协同分析外表部分条件下推 GUC参数behavior_compat_options新增选项disable_gc_fdw_filter_partial_pushdown,协同分析外表(类型为gc_fdw)场景下,控制使用过滤条件查询外表数据时过滤条件的下推情况。
了plan node id,性能分析简单直接。如图2。 图2 pretty格式执行计划示例 summary:是在pretty的基础上增加了对打印信息的分析。 run:在summary的基础上,将统计的信息输出到csv格式的文件中,以便于进一步分析。 常见类型计划 GaussDB(DWS)中当前主要存在三类分布式计划:
列出所有的文本搜索字典。 1 \dFd \dFp[+] [PATTERN] 列出所有的文本搜索分析器。 如果声明了PATTERN,只显示名字匹配PATTERN的分析器。 列出所有的文本搜索分析器。 1 \dFp \dFt[+] [PATTERN] 列出所有的文本搜索模板。 如果声明
列数据特征比较相似,能够更有效地进行数据压缩。 不适合少量数据INSERT或UPDATE操作。 表的字段比较多(大宽表),查询中涉及到的列不多。 统计分析类查询 (关联、分组操作较多的场景)。 即席查询(查询条件不确定,行存表扫描难以使用索引)。 选择分布方案 【建议】表的分布方式的选择一般遵循以下原则:
SQL场景为例,指导如何通过优化业务去提升I/O效率和降低I/O。 确定I/O瓶颈&识别高I/O的语句 通过以下内容掌握SQL级I/O问题分析的基础知识。 PGXC_THREAD_WAIT_STATUS视图功能。 EXPLAIN功能,需了解并熟悉Scan算子、A-time、A-rows、E-
际返回的总行数。这对于判断计划生成器是否接近现实非常有用。 注意事项 在指定ANALYZE选项时,语句会被执行。如果用户使用EXPLAIN分析INSERT,UPDATE,DELETE,CREATE TABLE AS或EXECUTE语句,但不改动数据(执行这些语句会影响数据),可使用以下所示的方法: