检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
9.1.0版本测试结论 性能总览
n等算子做了极致性能优化,使得执行器整体性能提升1倍左右,可显著降低业务计算费用。 在数据全内存缓存场景下,常用BenchMark测试结果如下: TPC-H性能提升50%到1.5X。 TPC-DS性能提升50%到80%。 SSB性能提升70%。 Sort全排性能提升90%。 约束限制
执行查询与结果收集 通过编写shell脚本自动化执行查询和结果收集 父主题: 测试方法
= ON); 开启列存表的delta表功能,在导入单条或者小规模数据进入表中时,能够防止小CU的产生,所以开启delta表能够带来显著的性能提升,例如在3CN、6DN的集群上操作,每次导入100条数据,导入时间能减少25%,存储空间减少97%,所以在需要多次插入小批量数据前应该
执行计划中,in条件还是作为普通的过滤条件存在。这种场景下,join操作的性能优于in条件,最优的执行计划应该是将“in 常量”转化为join操作。 分析过程 打印语句的执行计划: 执行计划中,in条件还是作为普通的过滤条件存在。这种场景下,join操作的性能优于in条件,最优的执行计划应该是将“in 常量”转化为join操作。
于N的情况下,CPU越多作业性能越好;但是当分配CPUS大于N的情况下,性能就不会有任何提升了。 CPU资源管理应用场景 CPU共享配额和专属限额的管控方式各有优劣,共享配额能够实现CPU资源的充分利用,但是各控制组之间资源隔离不彻底,可能影响查询性能;专属限额的管控方式可以实现
重分布。 倾斜表的危害:倾斜表可能引发算子计算/下盘倾斜严重,导致数据倾斜的DN处理压力过大,而无法发挥DWS的分布式计算的优势,影响业务性能,并且容易造成单DN磁盘满。 8.1.3版本开始默认建表为轮询表(参见轮询表RoundRobin),如果不熟悉分布键,可以在建表时,使用R
in语句。 执行计划中存在NestLoop。 分析结果 NestLoop是导致语句性能慢的主要原因。 由于NOT IN对于NULL值的特殊处理,导致语句无法使用高效的HashJoin进行高效处理,性能较差。 处理方法 若业务场景中用户不关注NULL值的处理,或者数据中根本不存在NULL值,则可以通过等价改写将NOT
DWS导入性能都和哪些因素有关联? dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
构建TPC-H&TPC-DS使用数据 准备数据构建工具编译环境 TPC-H数据构建 TPC-DS数据构建 父主题: 测试方法
GDS方式导入 安装和启动GDS 使用gsql连接DWS 创建GDS外表并导入TPC-H数据 创建GDS外表并导入TPC-DS数据 父主题: 建表与数据导入
成本敏感客户:每个DN主备各挂载最小200G(每块盘带宽160MB/s)。 OBS配置 OBS要求3AZ部署并支持并行文件系统。 OBS性能: 如需调整OBS性能指标,请联系技术支持。公有云场景,6个DN及以下节点集群,OBS指标一般不需要调整。 CPU配置 建议生产环境每个节点16U起步,4U/8U仅用于体验。
建议选择其他更加高效的数据导入方式,例如使用COPY方式导入数据。 有关导入方式的详细信息,请参见导入方式说明。 增大客户端并发数。 父主题: 集群性能
表名”,同时增加执行“VACUUM FULL”命令的频率。尤其是对于频繁增、删、改的表,建议定期做VACUUM FULL操作。 父主题: 集群性能
对列存表更新操作后,需要进行VACUUM FULL清理,更多用法请参见VACUUM的“VACUUM”章节。 1 VACUUM FULL table_name; 父主题: 集群性能
开启了autovacuum,但是各种原因导致回收不及时,并且新的数据又不断产生,从而导致膨胀。回收不及时有以下原因: IO性能差 当数据库非常繁忙时,如果IO性能较差,会导致回收脏数据变慢,从而导致表膨胀。 这种情况一般出现在占用数据库内存较大的表上,并且这些表正在执行整表vacu
尽量将大事务拆分成多个小事务来处理,小事务缩短锁定资源的时间,发生冲突的几率也降低。 控制并发度 尽可能减少并发会话的数量,以减少冲突的几率。 父主题: 集群性能
)分布方式。如果创建了Hash分布的表,未指定分布键,则选择表的第一列作为分布键,这种情况就可能存在倾斜。倾斜造成以下负面影响: SQL的性能会非常差,因为数据只分布在部分DN,那么SQL运行的时候就只有部分DN参与计算,没有发挥分布式的优势。 会导致资源倾斜,尤其是磁盘。可能部
ANALYSE。 若用户想要知道是否是磁盘碎片的问题影响了数据库的性能,可以使用以下函数进行查询: SELECT * FROM pgxc_get_stat_dirty_tables(30,100000); 父主题: 数据库性能
如果发现活跃事务列表中有XID比当前的事务XID小时,重启集群后,再次使用VACUUM FULL命令对该表进行清理。 父主题: 集群性能