检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB(DWS)存算一体架构弹性伸缩系统性介绍 弹性伸缩是云服务一个非常重要的特性,可以使云服务根据算力需求和资源负荷情况调整计算和存储资源配置,以达到性能最优和降低成本的目的。 一般分布式架构软件弹性伸缩都涉及如下几个维度: Scale Out(即横向扩展,向外扩展) Scale
请根据实际替换。 ACCESS_KEY和SECRET_ACCESS_KEY是云账号体系访问OBS服务的密钥。请根据实际替换。 DLI_ACCESS_KEY和DLI_SECRET_ACCESS_KEY是云账号体系访问DLI服务的密钥。请根据实际替换。 TYPE表示创建的Server为DLI
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。每当有新数据加入进行统计时,只需要把数据经过哈希计算并插入到HLL中,最后根据HLL就可以得到结果。
GAUSS-02831 -- GAUSS-02840 GAUSS-02831: "zero raised to a negative power is undefined" SQLSTATE: 2201F 错误原因:不支持计算0的负数次方。 解决办法:建议检查输入中是否存在计算0的负数次方。
请根据实际替换。 ACCESS_KEY和SECRET_ACCESS_KEY是云账号体系访问OBS服务的密钥。请根据实际替换。 DLI_ACCESS_KEY和DLI_SECRET_ACCESS_KEY是云账号体系访问DLI服务的密钥。请根据实际替换。 认证用的AK和SK硬编码到代码
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。每当有新数据加入进行统计时,只需要把数据经过哈希计算并插入到HLL中,最后根据HLL就可以得到结果。
高效,兼容,可扩展,易运维等特点。 基于GaussDB数据仓库产品内核,以云上数据仓库服务的形式将GaussDB(DWS)的能力提供给云平台上的企业用户,打造云上云下一致的数据仓库用户体验。 GaussDB(DWS)是具有国产自主知识产权的新一代分布式数据仓库系统。目前已经被广泛
如何使用GaussDB(DWS)自定义函数改写CRC32()函数 GaussDB(DWS)目前未内置CRC32函数,但如果需要实现MySQL中的CRC32()函数功能,用户可使用GaussDB(DWS)的自定义函数语句对其进行改写。 函数:CRC32(expr) 描述:用于计算循
业务项目来划分。在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图2 为云服务器选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源,按各种维度(例如用途、所有者或环境)对云资源进行分类的标记。推荐
高可用性系统的需求。 图1阐明了区域和可用分区之间的关系。 图1 区域和可用分区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用分区。更多信息请参见华为云全球站点。 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就
索引 在GaussDB(DWS)中创建索引期间,索引名不能与模式名一起指定。该索引将在创建索引表的模式中自动创建。 图1 输入:索引 图2 输出:索引 输入:基于CASE函数的索引 函数索引是基于列函数或表达式计算结果创建的索引。 输入 1 2 3 4 5 6 7 8 9 CREATE
分析函数 分析函数根据一组行计算一个聚合值。它与聚集函数的不同之处在于,它为每个组返回多行。分析函数通常用于计算累积值,数据移动值,中间值和报告聚合值。DSC支持分析函数,包括RATIO_TO_REPORT函数。 输入:分析函数 1 2 3 4 5 SELECT empno, ename
TABLE对象设计规范(重点) 规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。
TABLE对象设计规范(重点) 规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。
集群缩容 当用户需要的计算或者存储资源超出业务需求时,可在管理控制台对已有集群进行缩容操作,以便充分利用GaussDB(DWS)提供的计算资源和存储资源。 缩容按需计费模式集群仅8.1.1.300及以上集群版本支持,包周期计费模式的集群仅8.2.1及以上集群版本支持。 缩容的节点默认是按节点数计费。
创建集群时默认不绑定弹性IP,即不启用公网访问集群。集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名。 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
几何类型 GaussDB(DWS)支持的几何类型请参见表1。最基本的类型:点,是其它类型的基础。 表1 几何类型 名字 存储空间 说明 表现形式 point 16字节 平面中的点 (x,y) lseg 32字节 (有限)线段 ((x1,y1),(x2,y2)) box 32字节 矩形
哈希函数 hll_hash_boolean(bool) 描述:对bool类型数据计算哈希值。 返回值类型:hll_hashval 示例: 1 2 3 4 5 SELECT hll_hash_boolean(FALSE); hll_hash_boolean ---------------------