检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。 数据存储在HDFS:数据存储和计算不分离,集群成本较高,计算性能高,但存储量受磁盘空间限制,删
管理GaussDB(DWS)集群访问域名 概述 域名(Domain Name)是由一串用“点”分隔的字符组成的Internet上某一台计算机或计算机组的名称,如www.example.com。用户在Web浏览器的地址栏输入域名来访问某个网站或者Web应用程序。 GaussDB(D
在页面上方“运维任务公共配置”模块,填写“用户表VacuumFull运维任务最大并发数”配置值,单击右上角“保存”完成配置。 该配置应用于每个用户表VacuumFull运维任务中。 最大并发数配置范围为1~24,用户可根据剩余磁盘空间和IO负载,合理设置最大并发数,建议设置为5。
DUAL视图是数据库根据数据字典自动创建的,它只有一个文本字段,且只有一行,用于保存表达式计算结果。任何用户都可以访问它。 表1 DUAL字段 名称 类型 描述 dummy text 表达式计算结果。 父主题: 系统视图
DUAL视图是数据库根据数据字典自动创建的,它只有一个文本字段,且只有一行,用于保存表达式计算结果。任何用户都可以访问它。 表1 DUAL字段 名称 类型 描述 dummy text 表达式计算结果。 父主题: 系统视图
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。 必须设置enable_stream_operator=o
to a negative power is undefined" SQLSTATE: 2201F 错误原因:不支持计算0的负数次方。 解决办法:建议检查输入中是否存在计算0的负数次方。 GAUSS-02832: "a negative number raised to a non-integer
教程指引 本教程旨在演示使用GDS(General Data Service)工具将远端服务器上的数据导入GaussDB(DWS)中的过程,帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中,您将:
针对即时的分析需求,分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点,即可扩展系统的数据存储能力和查询分析的性能,可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色,更是海量数据收集、存储、分析的核心。为金融、教育、移动互联网、O2O(Online
和存储倾斜相比,计算倾斜更难以提前识别,因此GaussDB提出了RLBT(Runtime Load Balance Technology)方案,用于解决运行时的计算倾斜问题,该特性由参数skew_option控制。RLBT方案主要分为两个层面,第一步是计算倾斜识别,第二步是计算倾斜解决。下面分别进行介绍。
ALTER DEFAULT PRIVILEGES 功能描述 设置应用于将来要创建的对象的权限(不会影响现有对象的权限)。 用户只可以修改由用户本身或者用户本身所属的角色所创建的对象的默认权限,这些权限可以对全局范围设置(即数据库中创建的所有对象),也可以为指定模式下的对象设置。
ALTER DEFAULT PRIVILEGES 功能描述 设置应用于将来要创建的对象的权限(不会影响现有对象的权限)。 用户只可以修改由用户本身或者用户本身所属的角色所创建的对象的默认权限,这些权限可以对全局范围设置(即数据库中创建的所有对象),也可以为指定模式下的对象设置。
和存储倾斜相比,计算倾斜更难以提前识别,因此GaussDB提出了RLBT(Runtime Load Balance Technology)方案,用于解决运行时的计算倾斜问题,该特性由参数skew_option控制。RLBT方案主要分为两个层面,第一步是计算倾斜识别,第二步是计算倾斜解决。下面分别进行介绍。
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来。
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来。
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
text collate case_insensitive); INSERT INTO t VALUES('Hello','world'); ——计算ifnull(a,b)的值的哈希值 SELECT hashtext(ifnull(a,b)) FROM t; ERROR: dn_6005_6006:
9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。 表1 分布列选择原则 分布方式
9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。 表1 分布列选择原则 分布方式
集群缩容 当用户需要的计算或者存储资源超出业务需求时,可在管理控制台对已有集群进行缩容操作,以便充分利用GaussDB(DWS)提供的计算资源和存储资源。 缩容按需计费模式集群仅8.1.1.300及以上集群版本支持,包周期计费模式的集群仅8.2.1及以上集群版本支持。 缩容的节点默认是按节点数计费。