检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
低电商和物联网行业数据分区维护成本 场景介绍 对于分区列为时间的分区表,分区自动管理功能可以自动创建新分区和删除过期分区,降低分区表的维护成本,改善查询性能。为了便于查询和维护数据,用户通常使用分区列为时间的分区表来存储时间相关的数据,例如电商的订单信息、 物联网采集的实时数据。
数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数
GaussDB(DWS)技术指标 GaussDB(DWS)不同版本的技术指标如下所示。 表1 GaussDB(DWS)技术指标8.1.3-9.1.0版本 技术指标 8.1.3最大值 8.2.0最大值 8.2.1最大值 8.3.0最大值 9.1.0最大值 集群节点数 2048 2048
GaussDB(DWS)提供的具有一定逻辑和功能的存储过程、函数,这些具备功能的存储过程、函数统称为高级包。 隔离性 数据库事务的ACID特性之一。它是指一个事务内部的操作及使用的数据对其它并发事务是隔离的,并发执行的各个事务之间不能互相干扰。 关系型数据库 创建在关系模型基础上的数据库。关系型
数据保护技术 数据备份 透明加密 SSL传输加密 数据脱敏 使用函数进行加密 父主题: 安全
务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 HStore表使用优秀实践 GIN索引使用实践 实现数据列的加解密 通过视图管控数据权限
目前在互联网、教育、游戏等行业都有实时精准营销的需求。通过系统生成用户画像,在营销时通过条件组合筛选用户,快速提取目标群体。例如: 在电商行业中,商家在进行营销活动前,需要根据活动的目的,圈选一批满足特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征,推送有针对性的练习题目,帮助学生查漏补缺。
目前在互联网、教育、游戏等行业都有实时精准营销的需求。通过系统生成用户画像,在营销时通过条件组合筛选用户,快速提取目标群体。例如: 在电商行业中,商家在进行营销活动前,需要根据活动的目的,圈选一批满足特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征,推送有针对性的练习题目,帮助学生查漏补缺。
GaussDB(DWS)支持行列混合存储,可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。 数据加载快 GaussDB(DWS)提供了GDS极速并行大规模数据加载工具。 列存下的数据压缩 对于非活跃的早期数据可以通过压缩来减少空间占用,降低采购和运维成本。
案例:改建分区表 逻辑上的一张表根据某种策略分成多个物理块进行存储,这张逻辑上的表称之为分区表,每个物理块则称为一个分区。一般对数据和查询都有明显区间段特征的表使用分区策略可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的扫描范围。分
案例:改建分区表 逻辑上的一张表根据某种策略分成多个物理块进行存储,这张逻辑上的表称之为分区表,每个物理块则称为一个分区。一般对数据和查询都有明显区间段特征的表使用分区策略可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的扫描范围。分
COLUMN:表的数据将以列式存储。 ROW(缺省值):表的数据将以行式存储。 COMPRESSION 指定表数据的压缩级别,它决定了表数据的压缩比以及压缩时间。一般来讲,压缩级别越高,压缩比也越大,压缩时间也越长;反之亦然。实际压缩比取决于加载的表数据的分布特征。 取值范围:
command received" SQLSTATE: XX000 错误原因:从前端或者标准输入中输入了无效的命令,‘b’打头的,非bP、bX和bE。 解决办法:输入正确的命令。 GAUSS-04242: "cannot execute %s in a read-only transaction"
自主开发过程中应遵守的设计、开发准则,以提升开发效率,保证业务的连续性、稳定性。 适用范围 该规范适用于所有基于GaussDDB(DWS)数据库自主开发的场景,包含应用层面的设计与开发、数据库服务层面的设计与开发。 术语定义 规则:数据库设计与开发时必须遵守的约定。 建议:数据库设计与开发时建议考虑的约定。
错误原因:大对象未打开。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-04112: "large object %u was already dropped" SQLSTATE: 42704 错误原因:大对象已被删除。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-04113:
现状和需求 大量的企业经营性数据(订单,库存,原料,付款等)在企业的业务运营系统以及其后台的(事务型)数据库中产生的。 企业的决策者需要及时地对这些数据进行归类分析,从中获得企业运营的各种业务特征,为下一步的经营决策提供数据支撑。 困难 对数据的归类分析往往涉及到对多张数据库表数据的同时访问,
足的情况下,能够起到较好的性能提升效果;但是如果在不合适的场景下,或者资源不足的情况下,反而可能引起性能的劣化。同时,生成SMP需要考虑更多的候选计划,将会导致生成时间较长,相比串行场景也会引起性能的劣化。 GaussDB(DWS)的SMP特性由GUC参数query_dop控制,该参数可设置用户自定义的查询并行度。
足的情况下,能够起到较好的性能提升效果;但是如果在不合适的场景下,或者资源不足的情况下,反而可能引起性能的劣化。同时,生成SMP需要考虑更多的候选计划,将会导致生成时间较长,相比串行场景也会引起性能的劣化。 GaussDB(DWS)的SMP特性由GUC参数query_dop控制,该参数可设置用户自定义的查询并行度。
调整策略如下: 调大CN的max_connections会造成并发连接到DN的查询变多,所以需要同步调大DN的max_connections和comm_max_stream。 CN/DN的max_connections一般按照原来的2倍调大,原值比较小的集群可以调节到4倍。 为避
由于兼容的需要不排除引入实例名这个概念的可能。 表空间 在GaussDB(DWS)中,表空间是一个目录,可以存在多个,里面存储的是它所包含的数据库的各种物理文件。由于表空间是一个目录,仅是起到了物理隔离的作用,其管理功能依赖于文件系统。 模式 GaussDB(DWS)的模式是对数