检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景二:磁盘倾斜,倾斜表清理方式 倾斜表,针对单DN倾斜率>5%的表,建议对表进行重选分布列,并对数据进行重分布。 倾斜表的危害:倾斜表可能引发算子计算/下盘倾斜严重,导致数据倾斜的DN处理压力过大,而无法发挥DWS的分布式计算的优势,影响业务性能,并且容易造成单DN磁盘满。
cstmt.setInt(2, 50); cstmt.setInt(1, 20); cstmt.setInt(3, 90); cstmt.registerOutParameter(4, Types.INTEGER); //注册
cstmt.setInt(2, 50); cstmt.setInt(1, 20); cstmt.setInt(3, 90); cstmt.registerOutParameter(4, Types.INTEGER); //注册
本操作属于重大变更操作,涉及表分布信息的修改以及数据的物理重分布,修改过程中会阻塞业务,修改完成后原有业务的执行计划会发生变化,请按照正规变更流程进行。
本操作属于重大变更操作,涉及表分布信息的修改以及数据的物理重分布,修改过程中会阻塞业务,修改完成后原有业务的执行计划会发生变化,请按照正规变更流程进行。
Replication优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销,同时减少了plan segment(每个plan segment都会起对应的线程)。 Replication缺点是每个DN都保留了表的完整数据,造成数据的冗余。
t_result t; LOG: SQL can't be shipped, reason: With-Recursive does not contain "ALL" to bind recursive & none-recursive branches UNION不带ALL,需要去重。
t_result t; LOG: SQL can't be shipped, reason: With-Recursive does not contain "ALL" to bind recursive & none-recursive branches UNION不带ALL,需要去重。
37 enable_redistribute 控制查询优化器对于local redistribute和split redistribute重分布模式数据传输的使用。8.2.1版本前此参数未使用。
避免在业务高峰期执行ALTER TABLE/ALTER TABLE PARTITION(增删改查、DROP PARTITION)、TRUNCATE操作,避免有长SQL阻塞AlTER、TRUNCATE操作或SQL业务被ALTER、TRUNCATE阻塞。
4 max_cache_partition_num 表示在重分布过程中,最多在内存中保留的分区数量,多余该数量,把最早的分区按CU格式下盘。 5 password_encryption_type 该参数决定采用何种加密方式对用户密码进行加密存储。
17 uniq 辅助完成精准去重等对数据的uv计算。 18 reload_cold_partition 冷热表冷分区转热。 修改 19 pgxc_get_small_cu_info 增加可以查询二级分区每个分区cu数量的功能。
table_name | dirty_page_rate ------------+----------------- pg_class | 16.46 (1 row) gs_switch_relfilenode() 描述:交换两个表或分区的元信息(重分布工具内部使用
返回值类型:record gs_switch_relfilenode() 描述:交换两个表或分区的元信息(重分布工具内部使用,用户直接使用会有错误信息提示)。
对于UPDATE/DELETE/INSERT语句,只允许初始化用户在就地升级模式下或者管理员用户在重分布模式下执行;要求语句在每个实例上修改的记录数相同,否则执行会报错;函数会输出一条一列bigint类型的数值,此数值表示语句在每个实例上操作的记录数。
ROUNDROBIN:表的每一行被依次发送给各个DN,在这种分布策略下可以保证数据分布不会存在倾斜,但是因为数据分布节点是随机的,导致这类表在计算时会更大概率的触发此表的重分布。各列倾斜都比较严重的大表推荐使用此种分布策略。
client攒批直接流式写入dws数据库,以节省客户端内存资源,纯写人场景:无主键表、自增主键(client不设置主键字段的值)、有主键但客户端强制设置WRITE_MODE=copy,由业务保证数据无重复、WRITE_MEMORY_DUPLICATE_REMOVAL=false关闭内存去重
默认值:on max_skew_num 参数说明:控制优化器允许进行重分布优化的倾斜值个数。该参数仅8.2.1及以上集群版本支持。
列存也支持btree和gin索引,通过btree/gin索引也可以快速定位到满足条件的数据所在的CU及行号,但是,索引的维护代价比较大,除非对点查有极高的性能诉求,推荐使用bitmap index替代btree/gin。 DWS已有的优化手段可参考下表。
说明: 不支持事务块中的语句错误重试; 不支持通过ODBC、JDBC接口查询的出错重试; 含有unlogged表的sql语句,不支持节点故障后的出错重试; 当前不支持CN和GTM节点故障时,gsql客户端的出错重试; gsql客户端本身出现的错误,不在重跑考虑范围之内; retry_times