检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时数仓需要支持将insert+upsert+update等操作实时快速入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据要能及时查询,对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两个诉求。
新增GUC参数approx_count_distinct_precision,表示HyperLogLog++ (HLL++)算法中分桶个数,可以用来调整approx_count_distinct聚集函数的误差率。
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来
如果已规划的分区无法满足实际应用条件,可以增加分区后再插入数据。
应用示例 查询指定表是否有主键。
HLL的应用场景 使用hll数据类型场景 创建带有hll类型的表并向表中插入空的hll。
实时数仓需要支持将insert+upsert+update等操作实时快速入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据能及时查询,并对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两个诉求。
HLL的应用场景 使用hll数据类型场景 创建带有hll类型的表并向表中插入空的hll。
应用示例 查询指定表中包含的字段名和字段编号。t1和public分别替换为实际的表名和schema名称。
应用示例 查询指定表中包含的字段名和字段编号。t1和public分别替换为实际的表名和schema名称。
通过在不同地区创建云资源,可以将应用程序设计的更接近特定用户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用区是一个或多个物理数据中心的集合,有独立的电力和网络,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。
表8 脱敏策略定义相关SQL 功能 相关SQL 对表创建数据脱敏策略 CREATE REDACTION POLICY 修改应用在指定表的脱敏策略 ALTER REDACTION POLICY 删除应用在指定表的脱敏策略 DROP REDACTION POLICY 定义行级访问控制
弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。了解更多,请参见弹性负载均衡。
而实时入库的场景下,需要将insert+upsert+update操作实时并发入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据要能及时查询,且对于查询的效率要求很高。
计划含有Cte Scan、Recursive Union、Merge Append、Lock Rows等算子。
创建集群前的准备 评估集群节点规格 用户可以根据数据量、业务负载以及性能需求,选择能够支撑业务应用的节点数量,数量越多,存储与计算能力越强。
VALUES 功能描述 根据给定的值表达式计算一个或一组行的值。它通常用于在一个较大的命令内生成一个“常数表”。 注意事项 应当避免使用VALUES返回数量非常大的结果行,否则可能会遭遇内存耗尽或者性能低下。出现在INSERT中的VALUES是一个特殊情况,因为目标字段类型可以从INSERT
VALUES 功能描述 根据给定的值表达式计算一个或一组行的值。它通常用于在一个较大的命令内生成一个“常数表”。 注意事项 应当避免使用VALUES返回数量非常大的结果行,否则可能会遭遇内存耗尽或者性能低下。出现在INSERT中的VALUES是一个特殊情况,因为目标字段类型可以从INSERT
基于调优表实践的具体步骤,您可以进一步应用“基于表结构设计和调优提升GaussDB(DWS)查询性能”中的优秀实践方法来改进表的分配,以达到您所期望的数据加载、存储和查询方面的效果。 清除资源 在完成本次实践之后,应删除集群。 如果需要保留集群,删除SS表,请执行以下命令。