检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi用户接口 实时视图与增量视图查询 GaussDB(DWS)提供了类似spark-sql风格的表级参数,用于支持实时视图和增量视图。 具体参数说明如下,其中SCHEMA.FOREIGN_TABLE需要替换为实际的schema和外表名。 表1 实时视图与增量视图查询的参数 参数
系统调优 数据库系统参数调优 SMP并行执行 配置LLVM 父主题: GaussDB(DWS)性能调优
SQL调优 SQL查询执行流程 SQL执行计划 执行计划算子 SQL调优流程 更新统计信息 审视和修改表定义 SQL调优进阶 使用Plan Hint进行调优 例行维护表 例行重建索引 SQL语句出错自动重试 query_band负载识别 父主题: GaussDB(DWS)性能调优
资源消耗 内存 语句磁盘空间管控 内核资源使用 基于开销的清理延迟 异步IO 磁盘缓存 父主题: GaussDB(DWS)数据库GUC参数
查询规划 优化器方法配置 优化器开销常量 基因查询优化器 其他优化器选项 父主题: GaussDB(DWS)数据库GUC参数
告警检测 在集群运行的过程中,会对数据库中的错误场景进行检测,便于用户及早感知到数据库集群的错误。 enable_alarm 参数说明:允许打开告警检测线程,检测数据库中可能的错误场景。 参数类型:POSTMASTER 取值范围:布尔型 on表示允许打开告警检测线程。 off表示不允许打开告警检测线程。
锁管理 在GaussDB(DWS)中,并发执行的事务由于竞争资源可能会导致单机死锁或分布式死锁。本节介绍的参数主要管理事务锁的机制。 deadlock_timeout 参数说明:设置死锁超时检测时间,以毫秒为单位。当申请的锁超过设定值时,系统会检查是否产生了死锁。 死锁的检查代价
资源池资源监控 简介 多租户管理框架下,用户关联资源池执行查询,用户执行查询所占用的资源将汇总至关联资源池上,通过资源池监控视图,用户可以直观的查询到所有资源池的实时资源使用情况,同时也可以通过资源池监控历史表查询资源池资源的历史使用情况。 资源池监控数据每5s更新一次,但是因为
GaussDB(DWS)单表查询 示例表: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 CREATE TABLE newproducts ( product_id INTEGER NOT NULL, product_name
系统调优 数据库系统参数调优 SMP并行执行 配置LLVM 父主题: GaussDB(DWS)性能调优
SQL调优 SQL查询执行流程 SQL执行计划 执行计划算子 SQL调优流程 更新统计信息 审视和修改表定义 SQL调优进阶 优化器参数调整 使用Plan Hint进行调优 例行维护表 例行重建索引 SQL语句出错自动重试 query_band负载识别 父主题: GaussDB(DWS)性能调优
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
减少扫描数据量。通过分区的剪枝机制可以实现该点。 尽量减少随机IO。通过聚簇/局部聚簇可以实现该点。 尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布
备服务器 build_backup_param 参数说明:控制增量build过程中用于磁盘备份的最小满足规格。 参数类型:SIGHUP 取值范围:字符串 默认值:(1%,1G,1G) 该参数只会影响增量build过程中是否生成pg_rewind_bak目录,字符串生效需要采用'x%
审计 审计开关 操作审计 父主题: GaussDB(DWS)数据库GUC参数
TopSQL查询示例 本章节以查询TPC-DS样例数据的作业为例,演示如何查看实时TopSQL和历史TopSQL。 配置集群参数 查询TopSQL资源监控信息之前,需要先配置相关的GUC参数,以便能查询到作业的资源监控历史信息或归档信息。步骤如下: 登录GaussDB(DWS)管理控制台。
性能诊断 集群性能分析 慢SQL分析 SQL诊断 表诊断 父主题: GaussDB(DWS)性能调优
Hudi简介 Apache Hudi(发音Hoodie)表示Hadoop Upserts Deletes and Incrementals。用来管理Hadoop大数据体系下存储在DFS上大型分析数据集。 Hudi不是单纯的数据格式,而是一套数据访问方法(类似GaussDB(DWS
禁止使用特殊权限用户运行业务,需遵循权限最小分配原则 12 规则2.6 禁止使用一个数据库用户运行所有业务 13 SCHEMA对象设计 建议2.7 不在其他USER的私有SCHEMA下创建对象 14 TABLESPACE对象设计 规则2.8 禁止自定义TABLESPACE表空间 15 TABLE对象设计(重点)
历史TopSQL 系统提供了资源监控历史视图用来查询历史TopSQL。资源监控历史视图记录了查询作业运行结束时的资源使用情况(包括内存、下盘、CPU时间等)和运行状态信息(包括报错、终止、异常等)以及性能告警信息。但对于由于FATAL、PANIC错误导致查询异常结束时,状态信息列