检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库
GS_INSTR_UNIQUE_SQL Unique SQL定义 数据库将接收到的每个SQL的文本字符串,都进行解析并生成内部解析树,遍历解析树并忽略其中的常数值,以一定的算法计算出来一个整数值作为Unique SQL ID,用来唯一标识这一类SQL,Unique SQL ID相同的一类SQL就叫做Unique
GS_INSTR_UNIQUE_SQL Unique SQL定义 数据库将接收到的每个SQL的文本字符串,都进行解析并生成内部解析树,遍历解析树并忽略其中的常数值,以一定的算法计算出来一个整数值作为Unique SQL ID,用来唯一标识这一类SQL,Unique SQL ID相同的一类SQL就叫做Unique
创建外表 在GaussDB(DWS)数据库中创建一个Hadoop外表,用来访问存储在MRS HDFS文件系统上的Hadoop结构化数据。Hadoop外表是只读的,只能用于查询操作,可直接使用SELECT查询其数据。 前提条件 已创建MRS集群,并将数据导入Hive/Spark数据库中的ORC表。
gs_dump 背景信息 gs_dump是GaussDB(DWS)用于导出数据库相关信息的工具,用户可以自定义导出一个数据库或其中的对象(模式、表、视图等)。支持导出的数据库可以是默认数据库postgres,也可以是自定义数据库。 gs_dump工具在进行数据导出时,其他用户可以访问集群数据库(读或写)。
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
GAUSS-00501 -- GAUSS-00510 GAUSS-00501: "template database '%s' does not exist" SQLSTATE: 3D000 错误原因:template1模板数据库不存在。 解决办法:数据库系统存在异常导致模板数据
创建和管理GaussDB(DWS)表 创建表 CREATE TABLE命令创建一个表,创建表时可以定义以下内容: 表的列及数据类型。 表约束的定义,即任何用于限制列或者表中数据的表约束或者列约束。参见表约束的定义。 表分布的定义,即表的分布策略,它决定GaussDB(DWS)数据
GaussDB(DWS)数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。
资源池监控 进入资源池监控页面 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”,系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 资源池监控”,进入资源池监控页面。 在资源池
从MRS Hive导入表数据到GaussDB(DWS)集群 本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下:
创建和管理GaussDB(DWS)分区表 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。
集群概览 进入集群概览页面 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”。系统将显示数据库监控页面。 在左侧导航栏单击“集群概览”,进入集群概览页面。 在集群概览页面展示了集群的
PG_TOTAL_USER_RESOURCE_INFO PG_TOTAL_USER_RESOURCE_INFO视图显示所有用户资源使用情况,需要使用管理员用户进行查询。此视图在参数use_workload_manager为on时才有效。 表1 PG_TOTAL_USER_RESOURCE_INFO字段
PGXC_WLM_SESSION_STATISTICS PGXC_WLM_SESSION_STATISTICS视图显示在所有CN上正在执行的作业的负载管理信息。 表1 PGXC_WLM_SESSION_STATISTICS的字段 名称 类型 描述 datid oid 连接后端的数据OID。
创建和管理GaussDB(DWS)分区表 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。
监控项列表 通过数据库监控功能提供的GaussDB(DWS)相关监控项,用户可以从中获取有关集群的状态以及可用资源数量等信息,并深入了解当前集群实时的资源消耗情况。 GaussDB(DWS)相关监控项指标,具体请参见表1。 表1 GaussDB(DWS)监控列表 监控对象 指标描述
GS_WLM_SESSION_STATISTICS GS_WLM_SESSION_STATISTICS视图显示当前用户在当前CN上正在执行的作业的负载管理记录。 表1 GS_WLM_SESSION_STATISTICS的字段 名称 类型 描述 datid oid 连接后端的数据OID。
GS_WLM_SESSION_HISTORY GS_WLM_SESSION_HISTORY视图显示当前用户在当前CN上执行作业结束后的负载管理记录。此视图用于从GaussDB(DWS)中查询数据,仅当GUC参数enable_resource_track为on时,视图会查询GS_W
概述 Data Studio通过提供图形化界面来展示数据库的主要功能,简化了数据库开发和应用构建任务。 数据库开发人员可以使用Data Studio所提供的特性,创建和管理数据库对象(数据库对象包含数据库、模式、函数、存储过程、表、序列、列、索引、约束条件、视图等),执行SQL语