检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在实时查询监控页面展示了当前运行在集群中的所有查询和会话的实时信息。 实时查询仅8.1.2及以上集群版本支持。 启动实时查询功能需要在“监控设置 > 监控采集”页面打开“实时查询监控”指标项,操作详情请参见监控采集。开启实时查询后可能会导致数据量过大,请谨慎操作。 前提条件 查询监控中用户查看数据前需要设置相
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
户端IP、查询状态、完成时间、预估总执行时间(ms)、取消原因。 打开隐藏系统查询按钮可隐藏系统历史查询。 历史查询监控详情 单击指定历史查询监控的查询ID可触发该查询监控的详情页面,在详情页面中会展示当前监控的更多细节。例如查询语句的基本信息、在执行中的实时资源消耗、完整SQL语句以及查询计划。
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
TopSQL查询示例 本章节以查询TPC-DS样例数据的作业为例,演示如何查看实时TopSQL和历史TopSQL。 配置集群参数 查询TopSQL资源监控信息之前,需要先配置相关的GUC参数,以便能查询到作业的资源监控历史信息或归档信息。步骤如下: 登录GaussDB(DWS)管理控制台。
GaussDB(DWS)业务读写阻塞,如何查看某个时间段的sql执行记录? 当您的数据库集群出现读写阻塞时,可通过TopSQL功能查看某个时间段所执行的sql语句,支持查看当前CN或者所有CN的sql语句。 TopSQL功能包括查看实时sql语句和历史sql语句: 实时sql语句查询请参见:实时TopSQL语句。
的行存表或者列存表都无法同时满足实时入库和实时查询两个诉求。其中行存表实时入库能力强,支持高并发更新,但是磁盘占用高,查询效率低;列存表数据压缩率高,AP查询性能好,但是不能很好的支持并发更新,并发入库存在严重的锁冲突。 为了解决上面的问题,需要在使用列存储格式尽量降低磁盘占用的
的行存表或者列存表都无法同时满足实时入库和实时查询两个诉求。其中行存表实时入库能力强,支持高并发更新,但是磁盘占用高,查询效率低;列存表数据压缩率高,AP查询性能好,但是不能很好的支持并发更新,并发入库存在严重的锁冲突。 为了解决上面的问题,需要在使用列存储格式尽量降低磁盘占用的
Hudi外表查询 Hudi外表可以直接查询数据,默认查询实时视图;也可以通过设置增量查询参数实现增量视图查询。 增量查询 针对hudi增量查询功能,可以通过设置增量查询参数实现增量查询。 1 2 3 4 SET hoodie.SCHEMA.FOREIGN_TABLE.consume
ts_rewrite的这种形式接受一个起始查询和SQL查询命令。 这里的查询命令是文本字串形式,必须产生两个tsquery列。查询结果的每一行,第一个字段的值(目标子查询) 都会被第二个字段(替代子查询)替换。 当多个规则需要重写时,重写顺序非常重要; 因此在实践中需要使用ORDER BY将源查询按照某些字段进行排序。
全量同步source,再实时消费source端增量。 支持消费即清理:对于空间敏感且只关注实时同步与加工的客户,支持消费后即开始异步清理增量,有效减少空间使用。 利用Flink强大的实时处理能力和GaussDB(DWS)的Binlog能力,可以快速构建实时数仓,且无需维护其他组件
快速定位查询存储倾斜的表 目前提供的倾斜查询接口有函数:table_distribution(schemaname text, tablename text) 、table_distribution() 以及视图PGXC_GET_TABLE_SKEWNESS,客户可以根据自身业务情况来选择使用。
查询数据源 功能介绍 该接口用于查询数据源。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/ext-data-sources 表1 路径参数 参数 是否必选 参数类型 描述 project_id
TopSQL查询示例 本章节以查询TPC-DS样例数据的作业为例,演示如何查看实时TopSQL和历史TopSQL。 配置集群参数 查询TopSQL资源监控信息之前,需要先配置相关的GUC参数,以便能查询到作业的资源监控历史信息或归档信息。步骤如下: 登录GaussDB(DWS)管理控制台。
CSN的更新,不再负责全局事务管理。GTM-Lite模式适用于高并发,短查询的TP场景,可以在保证事务一致性的情况下提升查询性能。 GTM-Free模式:分布式事务只支持写外部一致性,不具有读外部一致性。实时数仓场景下设置该模式不生效。 参数类型:POSTMASTER 取值范围:枚举类型
实时入库 Kafka实时入库到GaussDB(DWS)
快速创建GaussDB(DWS)集群并导入数据进行查询 操作场景 数据仓库服务GaussDB(DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 本文以创建3节
数据倾斜查询优秀实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题: 数据库管理
功能描述 从HStore表读取数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项
功能描述 从HStore表读取数据。 如需使用实时数仓能力,请在DWS控制台创建集群时,选择存算一体1:4云盘规格,了解更多参见存算一体规格。 创建DWS集群选择1:8云盘规格为标准数仓,1:4云盘规格为实时数仓,以下内容描述的“实时数仓”、“标准数仓”即通过以上规格区分。 注意事项