检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
) AND b1.year_mth + 1 >= substr('20200722',1 ,6 ); 测试结果显示此SQL的表Scan耗时长达10s,查询SQL语句的执行计划如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
连接管理 简介 在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。 不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
数据的存储和分析能力,可解决用户的数据存储和处理需求。有关MRS服务的详细信息,请参考《MapReduce服务用户指南》。 用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)
总体流程 图1 整体流程 父主题: 测试方法
"UnSupported vector aggregation function %u" SQLSTATE: XX000 错误原因:生成了错误的执行计划。 解决办法:保留计划,请联系技术支持工程师提供技术支持。 GAUSS-03852: "vector aggregation does not support
命令中的斜体部分请根据实际填写,如果数据分片存放至多个数据盘目录,需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试,需要启动以上4个GDS,如果只测试TPC-DS或TPC-H数据,请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir:保存有待导入数据的数据文件所在目录。
9.1.0版本测试结论 性能总览
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。
ANALYSE 功能描述 用于收集有关数据库中表内容的统计信息,统计结果存储在系统表PG_STATISTIC下。执行计划生成器会使用这些统计数据,以确定最有效的执行计划。 如果没有指定参数,ANALYZE会分析当前数据库中的每个表和分区表。同时也可以通过指定table_name、c
备数据同步、倒换、重建等机制,使得数据库实例具备故障恢复及自愈的能力,保证数据库遭遇Crash后数据的可靠性和完整性,最终实现集群对外业务连续性的过程。 Region内容灾部署能力 GaussDB(DWS)提供双集群Region内容灾能力,即在另一个可用分区(Region内)部署
VERBOSE/EXPLAIN PERFORMANCE打印语句的执行计划。 执行计划中会有语句未收集统计信息的告警,并且通常E-rows估算非常小。 上述例子中,在打印的执行计划中有Warning提示信息,提示有哪些列在这个执行计划中用到了,但是这些列没有统计信息。 在CN的pg_log日
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
in打出执行计划,观察计划是否符合SMP适用场景与限制小节中的适用场景。如果符合,进入下一步。 设置query_dop=-value,在考虑资源情况和计划特征基础上,限制dop选取的范围为[1,value]。 设置query_dop=value,不考虑资源情况和计划特征,强制选取dop为1或value。
在数据库中,统计信息是规划器生成计划的源数据。没有收集统计信息或者统计信息陈旧会造成执行计划严重劣化,从而导致性能问题。 背景信息 ANALYZE语句可收集与数据库中表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC中。查询优化器会使用这些统计数据,以生成最有效的执行计划。 建议在执
在数据库中,统计信息是规划器生成计划的源数据。没有收集统计信息或者统计信息陈旧会造成执行计划严重劣化,从而导致性能问题。 背景信息 ANALYZE语句可收集与数据库中表内容相关的统计信息,统计结果存储在系统表PG_STATISTIC中。查询优化器会使用这些统计数据,以生成最有效的执行计划。 建议在执
建表与数据导入 GDS方式导入 父主题: 测试方法
SQL执行很慢,性能低,有时长时间运行未结束。 原因分析 SQL运行慢可从以下几方面进行分析: 使用EXPLAIN命令查看SQL执行计划,根据执行计划判断是否需要进行SQL调优。 分析查询是否被阻塞,导致语句运行时间过长,可以强制结束有问题的会话。 审视和修改表定义。选择合适的分布列,避免数据倾斜。
慢SQL过滤条件中未涉及分区字段,导致执行计划未分区剪枝,进行了全表扫描,性能严重劣化。 分析过程 和用户确认部分业务慢,执行慢的业务中都涉及到了同一张表tb_motor_vehicle。 收集几个典型的慢SQL语句,分别打印执行计划。从执行计划中可以看出来,两条SQL的耗时都集中在Partitioned
执行查询与结果收集 通过编写shell脚本自动化执行查询和结果收集 父主题: 测试方法
PLAN_TABLE PLAN_TABLE视图显示用户通过执行EXPLAIN PLAN收集到的计划信息。计划信息的生命周期是session级别,session退出后相应的数据将被清除。同时不同session和不同user间的数据是相互隔离的。 表1 PLAN_TABLE字段 名称