检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据倾斜查询优秀实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题: 数据库管理
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
查看表和数据库的信息 查询表信息 使用系统表pg_tables查询数据库所有表的信息。 1 SELECT * FROM pg_tables; 使用gsql的\d+命令查询表结构。 示例:先创建表customer_t1并插入数据。 1 2 3 4 5 6 7 8 9 CREATE
参数类型 描述 id String 数据源配置ID。 name String 数据源名称。 type String 数据源类型。 connect_info String 连接的数据库。 user_name String MRS数据源用户名,OBS数据源对应委托名称。 version String
Region内集群容灾 智能运维 数据库用户管理 运维账户 集群日志管理 启停集群 资源负载管理 资源管理 逻辑集群管理 实时/历史TopSQL查询 数据源管理 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 06 使用数据库 数据库开发指南重点面向数据库的设计者、应用程
终进入数据仓库。 数据仓库主要用于支撑企业决策分析,所涉及的数据操作主要是数据查询。因此数据仓库通过表结构优化、存储方式优化等方式提高查询速度、降低开销。 表1 数据仓库与数据库的对比 维度 数据仓库 数据库 应用场景 OLAP OLTP 数据来源 多数据源 单数据源 数据标准化
在库中表个数少于1W的场景,直接使用倾斜视图查询当前数据库内所有表的数据倾斜情况。 1 SELECT * FROM pgxc_get_table_skewness ORDER BY totalsize DESC; 在库中表个数非常多(至少大于1W)的场景,因PGXC_GET_TABLE_SKEWNESS涉及全库查并
在历史查询监控页面展示了当前集群中的所有历史查询信息。 历史查询仅8.1.2及以上集群版本支持。 启动历史查询功能需要在“监控设置 > 监控采集”页面打开“历史查询监控”指标项,操作详情请参见监控采集。开启历史查询后可能会导致数据量过大,请谨慎操作。 历史查询 在“历史查询”这一栏您可以根据选择的指
方式二:通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载,详细内容请参考查看集群日志。 方式三:数据库的审计日志默认存储于数据库中,连接集群后使用pg_query_audit函数进行查看。详细内容请参考使用pg_query_audit函数查看数据库审计日志。 使用pg_q
作业中多个SQL有同样的子查询,并且子查询数据量较大。 Plan cost计算不准,导致子查询hash bucket太小,比如实际数据1000W行,hash bucket只有1000。 函数(如substr,to_number)导致大数据量子查询选择度计算不准。 多DN环境下对大表做broadcast的子查询。
出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同。
) ; 为这些表加载样例数据。 OBS存储桶中提供了本次实践的样例数据。该存储桶向所有经过身份验证的云用户提供了读取权限。请按照下面的步骤加载这些样例数据: 为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW(Foreign Data
GaussDB(DWS)热数据存储和冷数据存储的区别? 热数据存储和冷数据存储最大的区别在于存储介质不同: 热数据存储是直接将频繁被查询或更新,对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。 因为
查询历史监控数据 功能介绍 该接口用于查询历史监控数据。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/dms/metric-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。
ts_rewrite的这种形式接受一个起始查询和SQL查询命令。 这里的查询命令是文本字串形式,必须产生两个tsquery列。查询结果的每一行,第一个字段的值(目标子查询) 都会被第二个字段(替代子查询)替换。 当多个规则需要重写时,重写顺序非常重要; 因此在实践中需要使用ORDER BY将源查询按照某些字段进行排序。
查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用
查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用 SQL on Hudi
数据库监控 进入数据库监控页面 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。 在指定集群所在行的“操作”列,单击“监控面板”。系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 数据库监控”,进入数据库监控页面。 在数据库
查询表大小时报错“could not open relation with OID xxx” 问题现象 在执行pg_table_size查询表大小时,出现报错“could not open relation with OID xxxx.”。 原因分析 通过执行pg_table_s