检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据在GaussDB(DWS)中是否安全? 安全。在大数据时代,数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用,下不碰数据”的承诺,保证用户核心资产的安全。这是对用户和社会的承诺,也是公有云及其伙伴商业成功的保障和基石。 数据仓库服务工程师对整个数据仓库系统进行了电信系
由于兼容的需要不排除引入实例名这个概念的可能。 表空间 在GaussDB(DWS)中,表空间是一个目录,可以存在多个,里面存储的是它所包含的数据库的各种物理文件。由于表空间是一个目录,仅是起到了物理隔离的作用,其管理功能依赖于文件系统。 模式 GaussDB(DWS)的模式是对数
程中遇到相关技术问题,可以联系技术支持团队获得帮助,该技术支持仅协助分析处理GaussDB(DWS)云服务相关求助,不包含云服务以外的求助,例如用户基于GaussDB(DWS)构建的应用系统等。 技术支持范围 支持的服务 GaussDB(DWS)云服务管理控制台提供的相关功能:
语句磁盘空间管控 介绍与语句磁盘空间管控相关的参数,用于限制语句磁盘空间使用。 sql_use_spacelimit 参数说明:限制单个SQL在单个DN上,触发写盘操作时,所有类型写盘文件的总空间大小,管控的空间包括普通表、临时表以及中间结果集落盘占用的空间。系统管理员用户也受该参数限制。
程序名称命名应按照统一的命名规则进行命名。 应充分考虑程序的运行效率,包括程序的执行效率和数据库的查询、存储效率,在保证应用的同时应使用效率高的处理方法。 程序注释应详细、正确、规范。 除非应用特别需要控制COMMIT和ROLLBACK的提交时机,否则应在存储过程结束时执行显式的COMMIT或者ROLLBACK操作。
表压缩可以在创建表时开启,压缩表能够使表中的数据以压缩格式存储,意味着占用相对少的内存。 对于I/O读写量大,CPU富足(计算相对小)的场景,选择高压缩比;反之选择低压缩比。建议依据此原则进行不同压缩下的测试和对比,以选择符合自身业务情况的最优压缩比。压缩比通过COMPRESSION参数指定,其支持的取值如下:
表压缩可以在创建表时开启,压缩表能够使表中的数据以压缩格式存储,意味着占用相对少的内存。 对于I/O读写量大,CPU富足(计算相对小)的场景,选择高压缩比;反之选择低压缩比。建议依据此原则进行不同压缩下的测试和对比,以选择符合自身业务情况的最优压缩比。压缩比通过COMPRESSION参数指定,其支持的取值如下:
手动识别 表达式索引信息 创建的表达式索引会自动收集统计信息 用于点查的表达式过滤的场景,确保查询表达式的查询代价估算准确 手动识别 冻结统计信息 将表级的统计信息冻结,防止发生变化 用于数据特征极稳定场景,禁止采样,防止查询计划跳变 用于数据特征极易变场景,强制采样,确保每次查询都采样
le占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务类
以GaussDB(DWS)的SQL作为上层应用的统一入口,应用开发人员使用熟悉的SQL语言即可访问所有数据。 实时交互分析 针对即时的分析需求,分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点,即可扩展系统的数据存储能力和查询分析的性能,可支持PB级数据的存储和计算。 增强型ETL和实时BI分析
规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
错误原因:在对象中属性名称必须是已知被描述的。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-01762: "must be owner of large object %u" SQLSTATE: 42501 错误原因:执行用户不是大对象的所有者。 解决办法:检查此大对象的用户权限,是否为大对象的所有者。
分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。合理的选择分布键,对表查询的性能至关重要。此外,合适的分布键还可以使数据的索引更快地创建和维护。 单表存储数据量 单表存储的数据量越大,查询性能就越差。当表中的数据量很大时,则需要考虑将数据进行分
从备DN只存放原主DN故障时,新升为主的DN同步到从备DN的Xlog数据和数据通道复制产生的数据。因此从备DN不额外占用存储资源,相比传统三副本节约了三分之一的存储空间。 Storage 服务器的本地存储资源,持久化存储数据。 - 集群的每个DN上负责存储数据,其存储介质也是磁
描效率低。 处理方式: 对按照时间特征存储和访问的大表设计成分区表。 分区键一般选离散度高、常用于查询过滤条件中的时间类型的字段。 分区间隔一般参考高频的查询所使用的间隔,需要注意的是针对列存表,分区间隔过小(例如按小时)可能会导致小文件过多的问题,一般建议最小间隔为按天。 场景6:行存表求count值
或错开智能运维与经典变更规格的时间窗。 前提条件 请确定需要调整的集群处于“可用”、"只读"或“非均衡”任意一种状态。 请确定调整后的节点数小于等于用户节点数的剩余配额,否则系统会无法进行变更操作。 经典变更规格后的总容量至少大于原集群已使用量的1.2倍。 IAM子账号在进行经
原因分析 假定该表的名称为table_name,对于该现象可能有以下两种原因: 表本身没有delete过数据,使用VACUUM FULL table_name后无需清理delete的数据,因此表大小清理前后一样大。 在执行VACUUM FULL table_name时有并发的事务存在,可能会导致VACUUM
现。快照是对GaussDB(DWS)集群在某一时间点的一次全量数据和增量数据的备份,记录了当前数据库的数据以及集群的相关信息,其中包括节点数量、节点规格和数据库管理员用户名称等。GaussDB(DWS)可通过管理控制台进行快照的手动创建,也支持自定义自动快照策略,以便在计划时间内自动创建快照,以防止数据丢失。
Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。 父主题: 数据保护技术