检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。 表1 分布列选择原则 分布方式
9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。 表1 分布列选择原则 分布方式
分析函数 分析函数根据一组行计算一个聚合值。它与聚集函数的不同之处在于,它为每个组返回多行。分析函数通常用于计算累积值,数据移动值,中间值和报告聚合值。DSC支持分析函数,包括RATIO_TO_REPORT函数。 输入:分析函数 1 2 3 4 5 SELECT empno, ename
和存储倾斜相比,计算倾斜更难以提前识别,因此GaussDB提出了RLBT(Runtime Load Balance Technology)方案,用于解决运行时的计算倾斜问题,该特性由参数skew_option控制。RLBT方案主要分为两个层面,第一步是计算倾斜识别,第二步是计算倾斜解决。下面分别进行介绍。
数据导入/导出 使用COPY FROM导入时报错“invalid byte sequence for encoding "UTF8": 0x00” GDS导入/导出类问题 创建GDS外表失败,提示不支持ROUNDROBIN 通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败
证满足欧盟对数据安全和隐私的要求。 业务数据安全 数据仓库服务构建在公有云的基础软件设施之上,包括云主机弹性云服务器和对象存储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。 GaussDB(DWS)用户的业务数据是直接存放在集群的云主机当
”,此时需要将两个区域建立云连接后才能通信。 图3 云连接访问 业务应用在云下数据中心,需要与DWS进行通信 如果业务应用不在云上,在本地数据中心,此时需要与云上DWS进行通信,分为两种场景: 场景一:云下业务应用通过DWS的公网IP进行通信。 使用gsql连接示例: gsql -d
视图涉及全库查并计算非常全面的倾斜字段,所以可能会花费比较长的时间(小时级),建议参考PGXC_GET_TABLE_SKEWNESS视图定义,执行以下操作: 8.1.2及之前集群版本中使用table_distribution()函数自定义输出,减少输出列进行计算优化,例如: 1 2
数值大小相同的参数使用不同数据类型的哈希函数计算,最后结果会不一样,因为不同类型哈希函数会选取不同的哈希计算策略。 hll_hash_smallint(smallint, int32) 描述:设置hash seed(即改变哈希策略)同时对smallint类型数据计算哈希值。 返回值类型:hll_hashval
和存储倾斜相比,计算倾斜更难以提前识别,因此GaussDB提出了RLBT(Runtime Load Balance Technology)方案,用于解决运行时的计算倾斜问题,该特性由参数skew_option控制。RLBT方案主要分为两个层面,第一步是计算倾斜识别,第二步是计算倾斜解决。下面分别进行介绍。
to a negative power is undefined" SQLSTATE: 2201F 错误原因:不支持计算0的负数次方。 解决办法:建议检查输入中是否存在计算0的负数次方。 GAUSS-02832: "a negative number raised to a non-integer
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。 必须设置enable_stream_operator=o
数值大小相同的参数使用不同数据类型的哈希函数计算,最后结果会不一样,因为不同类型哈希函数会选取不同的哈希计算策略。 hll_hash_smallint(smallint, int32) 描述:设置hash seed(即改变哈希策略)同时对smallint类型数据计算哈希值。 返回值类型:hll_hashval
力需求和资源负荷情况调整计算和存储资源配置,以达到性能最优和降低成本的目的。 一般分布式架构软件弹性伸缩都涉及如下几个维度: Scale Out(即横向扩展,向外扩展) Scale out代表分布式计算的能力,通过在原有系统上增加节点来扩展存储能力和计算能力。对于DWS数仓来说就
管理GaussDB(DWS)集群访问域名 概述 域名(Domain Name)是由一串用“点”分隔的字符组成的Internet上某一台计算机或计算机组的名称,如www.example.com。用户在Web浏览器的地址栏输入域名来访问某个网站或者Web应用程序。 GaussDB(D
DUAL视图是数据库根据数据字典自动创建的,它只有一个文本字段,且只有一行,用于保存表达式计算结果。任何用户都可以访问它。 表1 DUAL字段 名称 类型 描述 dummy text 表达式计算结果。 父主题: 系统视图
DUAL视图是数据库根据数据字典自动创建的,它只有一个文本字段,且只有一行,用于保存表达式计算结果。任何用户都可以访问它。 表1 DUAL字段 名称 类型 描述 dummy text 表达式计算结果。 父主题: 系统视图
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来。
GaussDB(DWS)的自定义函数语句对其进行改写。 函数:CRC32(expr) 描述:用于计算循环冗余值。入参expr为字符串。如果参数为NULL,则返回NULL;否则,在计算冗余后返回32位无符号值。 GaussDB(DWS)的自定义函数语句改写CRC32函数示例: 1
不下推函数的场景主要出现在自定义函数属性定义错误的情况下。 不下推语句的执行方式没有利用分布式的优势,其在执行过程中,相当于把大量的数据和计算过程汇集到一个节点上去做,因此性能通常非常差。 分析过程 通过EXPLAIN VERBOSE打印语句执行计划。 上述执行计划中出现__RE