检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时查询 进入实时查询页面 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”,系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 实时查询”,进入实时查询监控页面。 在实时查询监
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
大数据分析场景下,MySQL作为OLTP数据库,接入GaussDB(DWS)数仓进行OLAP业务分析后,对于MySQL实时写入的数据也需要实时同步入仓,此时可通过DRS实现。 图1 DRS实时同步MySQL 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS)
实时入库 使用DRS将数据导入GaussDB(DWS) Kafka实时入库到GaussDB(DWS)
efore设置为false,否则不建议设置将ignoreUpdateBefore设置为false。 Flink实时消费Binlog 使用DWS Connector来实时消费Binlog,具体请参见DWS-Connector。 如果已使用其他同步工具已经将全量数据同步到了目标端,后
实时数仓语法 CREATE TABLE INSERT DELETE UPDATE UPSERT MERGE INTO SELECT ALTER TABLE
为false,否则不建议将 ignoreUpdateBefore设置为false(默认true)。 Flink实时消费Binlog 使用DWS Connector来实时消费Binlog,具体请参见DWS-Connector。 如果已使用其他同步工具已经将全量数据同步到了目标端,后
inlog来记录数据库中所有数据的变化,但相比于MySQL的Binlog主要用于数据恢复与主从复制,DWS实时数仓Binlog一般只用于实时场景下的数据同步。同时DWS实时数仓Binlog并不会记录DDL操作,只记录Insert/Delete/Update/(Upsert)等DML操作。
全量同步source,再实时消费source端增量。 支持消费即清理:对于空间敏感且只关注实时同步与加工的客户,支持消费后即开始异步清理增量,有效减少空间使用。 利用Flink强大的实时处理能力和GaussDB(DWS)的Binlog能力,可以快速构建实时数仓,且无需维护其他组件
实时数仓函数 hstore_light_merge(rel_name text) 描述:该函数用于手动对HStore表进行轻量化清理操作,持有目标表的三级锁。 返回值类型:int 示例: 1 SELECT hstore_light_merge('reason_select');
实时数仓简介 实时数仓需要支持将insert+upsert+update等操作实时快速入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据要能及时查询,对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两
实时数仓简介 实时数仓需要支持将insert+upsert+update等操作实时快速入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据能及时查询,并对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两
实时数仓函数 hstore_light_merge(rel_name text) 描述:该函数用于手动对HStore表进行轻量化清理操作,持有目标表的三级锁。 返回值类型:int 示例: 1 SELECT hstore_light_merge('reason_select');
实时数仓语法 CREATE TABLE INSERT DELETE UPDATE UPSERT MERGE INTO SELECT ALTER TABLE
实时数仓函数 hstore_light_merge(rel_name text) 描述:该函数用于手动对HStore表进行轻量化清理操作,持有目标表的三级锁。 返回值类型:int 示例: 1 SELECT hstore_light_merge('reason_select');
实时数仓语法 CREATE TABLE INSERT DELETE UPDATE UPSERT MERGE INTO SELECT ALTER TABLE
实时数仓简介 实时数仓需要支持将insert+upsert+update等操作实时快速入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据要能及时查询,对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
Kafka实时入库到GaussDB(DWS) 通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。