检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
100及以上版本支持。 Hudi简介 使用Hudi前准备 Hudi用户接口 创建Hudi数据描述(外表) Hudi任务同步 Hudi外表查询 支持访问MRS上的Hudi表 父主题: 查询GaussDB(DWS)数据
删除自动快照 自动快照不支持手动删除,仅GaussDB(DWS)系统能够删除自动快照。 GaussDB(DWS)会在如下情况下删除自动快照: 自动快照保留期结束。 删除集群。 为防止用户误执行删除集群操作,GaussDB(DWS)将提供以下策略(该功能仅在8.2.0及以上集群版本支持):
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 问题现象 数据库中原先执行几秒钟的SQL语句,现在执行二十几秒未出结果,导致前台页面数据加载超时,无法对用户提供图表显示。 原因分析 大量表频繁增删改,未及时清理,导致脏数据过多、表数据膨胀、查询慢。 内存参数设置不合理。 分析过程
显示指定MATERIALIZED时,将子查询执行一次,并将其结果集进行物化;指定NOT MATERIALIZED时,则将其子查询替换到主查询中的引用处。 每个CTE的AS语句指定的SQL语句,必须是可以返回查询结果的语句,可以是普通的SELECT查询语句,也可以是INSERT、UPDA
显示指定MATERIALIZED时,将子查询执行一次,并将其结果集进行物化;指定NOT MATERIALIZED时,则将其子查询替换到主查询中的引用处。 每个CTE的AS语句指定的SQL语句,必须是可以返回查询结果的语句,可以是普通的SELECT查询语句,也可以是INSERT、UPDA
Please check data distribution or modify warning threshold 父主题: 数据倾斜查询优秀实践
集群列表中,在指定集群所在行的“任务信息”列,单击“查看详情”。 重分布中会显示重分布状态、重分布配置、重分布整体进度以及指定数据库下所有数据库表的重分布详情。用户在查看数据表重分布详情时,必须指定一个数据库,且支持按照表的重分布状态和表名作为条件的搜索,由于重分布机制的原因,若某数据库下所有表完成重分布,页面将不会再查询到详细信息。
ANALYZE 检查数据倾斜性。 对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查,以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性 1 SELECT
GaussDB(DWS)中单表查询性能与哪些因素有关? GaussDB(DWS)采用Shared-nothing架构,数据是被分布式存储,因此分布键设计、单表存储数据量、分区数量都会影响单表的整体查询性能。 分布键设计 DWS默认会选择主键的第一列作为分布键。如果同时设置主键和分
信息,以表格的形式展示。可查看近7天内所有告警的告警名称、告警级别、告警源、集群名称、定位信息、详细信息、产生日期、状态等信息,帮助用户快速发现和定位问题。 告警展示页面的数据源来自EventService微服务,该微服务最多可以提供30天的告警缓存数据。 告警类别和告警 告警策略触发条件以用户实际配置为准。
PG_STAT_ACTIVITY视图显示和当前用户查询相关的信息。若有管理员权限或预置角色权限可以显示和所有用户查询相关的信息。 表1 PG_STAT_ACTIVITY字段 名称 类型 描述 datid oid 用户会话在后端连接到的数据库OID。 datname name 用户会话在后端连接到的数据库名称。 pid
执行动态非查询语句 语法 语法请参见图1。 图1 noselect::= using_clause子句的语法参见图2。 图2 using_clause-2 对以上语法格式的解释如下: USING IN bind_argument用于指定存放传递给动态SQL值的变量,在dynami
pg_show_custom_settings()来查询相关参数的设置详情。 查询MOR表的增量视图时,需要使用where条件过滤_hoodie_commit_time字段,避免读取到未合并的不符合条件的log文件数据;COW表无需该操作。 Hudi外表信息查询与自动同步任务 GaussDB(DW
如果要查某用户对某张表是否有某种权限,也可以通过访问权限查询函数has_table_privilege进行查询。 1 SELECT * FROM has_table_privilege('用户名','表名','select'); 例如,查询joe对表t1是否有查询权限。 1 SELECT * FROM
参数说明:控制是否使用inlist-to-join查询重写。 参数类型:USERSET 取值范围:字符串 disable:关闭inlist2join查询重写。 cost_base:基于代价的inlist2join查询重写。 rule_base:基于规则的inlist2join查询重写,即强制使用inlist2join查询重写。
基于表结构设计和调优提升GaussDB(DWS)查询性能 调优前:学习表结构设计 步骤1:创建初始表并加装样例数据 步骤2:测试初始表结构下的系统性能并建立基线 步骤3:调优表操作具体步骤 步骤4:创建新表并加载数据 步骤5:测试新的表结构下的系统性能 步骤6:调优表性能评估 附录:表创建语法
使用小量空间换取性能的正向做法。 查询性能(速度)提升了54.4%,即查询时间减少了54.4%。 查询性能方面的提升源于对存储方式、分布方式和分布列的优化。在多字段表,统计分析类查询场景下,列存可以提升查询性能。对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,提升表的读/写速度。
查询和索引统计收集器 查询和索引统计收集器负责收集数据库系统运行中的统计数据,如在一个表和索引上进行了多少次插入与更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间等。可以通过查询系统视图pg_stats和pg_statistic查看统计数据。下面的参数设置服务器范围内的统计收集特性。
查询和索引统计收集器 查询和索引统计收集器负责收集数据库系统运行中的统计数据,如在一个表和索引上进行了多少次插入与更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间等。可以通过查询系统视图pg_stats和pg_statistic查看统计数据。下面的参数设置服务器范围内的统计收集特性。
row) 原因分析: 对于子视图和子查询中order by是无效的。 解决方法: 不建议在子视图和子查询中使用order by,若要保证结果有序,需在最外层查询中使用order by。 子查询limit 场景:子查询中使用limit,两次查询结果不一致。 1 2 3 4