检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
host-based authentication,主机认证。主机鉴权允许主机鉴权部分或全部系统用户。适用于系统所有用户或者使用Match指令的子集。该类型鉴权对于管理计算集群以及其它完全同质设备非常有用。总之,服务器上的三个文件以及客户端上的一个文件必须修改,为主机鉴权做准备。 HDFS Hadoop
集群按照环的方式配置,比如3个或4个主机组成一个环,这些主机上的DN主节点、备节点和从节点都部署在这个环里, 缩容的最小单元是一个环。 缩容数应按扩容顺序逆向选择,如:先扩容3个节点,再扩容4个节点,本次缩容可选择缩容4个节点,或缩容7个节点。 online 是 Boolean 在线缩容。 type
GaussDB(DWS)的自定义函数语句对其进行改写。 函数:CRC32(expr) 描述:用于计算循环冗余值。入参expr为字符串。如果参数为NULL,则返回NULL;否则,在计算冗余后返回32位无符号值。 GaussDB(DWS)的自定义函数语句改写CRC32函数示例: 1
数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同 mask_full(column_name) 描述:全脱敏成固定值。脱敏列的数据类型不同,脱敏的固定值不同。
对象是可见的。对于操作符类,则要同时考虑名字和相关索引的访问方法。 所有这些函数都需要使用OID来标识要需要检查的对象。如果用户想通过名字测试对象,则可使用OID别名类型(regclass、regtype、regprocedure、regoperator、regconfig或regdictionary)。
数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同。 mask_full(column_name) 描述:全脱敏成固定值。脱敏列的数据类型不同,脱敏的固定值不同。
对象是可见的。对于操作符类,则要同时考虑名字和相关索引的访问方法。 所有这些函数都需要使用OID来标识要需要检查的对象。如果用户想通过名字测试对象,则可使用OID别名类型(regclass、regtype、regprocedure、regoperator、regconfig或regdictionary)。
步骤6:调优表性能评估 经过测试,得到了优化表前后的加载时间、存储占用情况和查询执行时间,并记录了结果,针对结果进行对比分析。 下表显示了本次实践所用集群的示例结果。您的结果会有所不同,但应该显示出相似的性能提升。 基准 优化前 优化后 改变 百分比 加载时间(11张表) 341584ms
附录:表创建语法 本节所附为调优表实践中使用到的SQL测试语句,推荐您将每节的SQL语句拷贝并另存为.sql文件。例如,创建一个包含“创建初始表”SQL语句的create_table_fir.sql文件。创建后使用SQL客户端工具执行.sql文件效率更高,且利于统计用例的总耗费时间。使用gsql运行
载。 客户端工具包包含以下内容: 数据库连接工具Linux gsql和测试样例数据的脚本 Linux gsql是一款运行在Linux环境上的命令行客户端,用于连接GaussDB(DWS)集群中的数据库。 测试样例数据的脚本用于执行入门示例。 Windows版本gsql Windows
容条件不满足,“缩容”按钮置灰。 解决办法 需排查集群配置信息,检查缩容是否满足以下条件: 集群按照环的方式配置,比如4个或5个主机组成一个环,这些主机上的DN主节点、备节点和从节点都部署在这些节点里,这些节点组成一个集群环 ,缩容的最小单元是一个集群环,集群至少有2个环才能支持缩容,缩容按照集群环从后往前缩容节点。
定。该索引将在创建索引表的模式中自动创建。 图1 输入:索引 图2 输出:索引 输入:基于CASE函数的索引 函数索引是基于列函数或表达式计算结果创建的索引。 输入 1 2 3 4 5 6 7 8 9 CREATE UNIQUE index GCC_RSRC_ASSIGN_U1
)比行执行引擎性能要好很多,因此一般建议使用列存表。特别是对一些中间结果集转储的表,一定要分析清楚,使用合适的表存储类型。 优化前 某局点测试过程遇到如下的执行计划,客户希望将性能提升至3s内返回结果。 优化后 经过分析发现计划走了行引擎。根本原因是:临时计划表input_acc
)比行执行引擎性能要好很多,因此一般建议使用列存表。特别是对一些中间结果集转储的表,一定要分析清楚,使用合适的表存储类型。 优化前 某局点测试过程遇到如下的执行计划,客户希望将性能提升至3s内返回结果。 优化后 经过分析发现计划走了行引擎。根本原因是:临时计划表input_acc
如果一周只备份一次,当增量数据量较大时,就会出现备份慢的情况。建议您适当地增加备份频率。 其中快照备份和恢复速率如下所示(此速率为实验室测试环境下数据,介质为SSD本地盘,仅供用户参考。在实际使用中,由于磁盘、网络、带宽等因素可能会产生一定的差异): 备份速率:200 MB/s/DN
分析函数 分析函数根据一组行计算一个聚合值。它与聚集函数的不同之处在于,它为每个组返回多行。分析函数通常用于计算累积值,数据移动值,中间值和报告聚合值。DSC支持分析函数,包括RATIO_TO_REPORT函数。 输入:分析函数 1 2 3 4 5 SELECT empno, ename
Plan Hint实际调优案例 本节以TPC-DS标准测试的Q24的部分语句为例,在1000X,24DN环境上,说明使用plan hint进行实际调优的过程。示例如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
) WITH (ORIENTATION = column,COMPRESSION=middle); 选择分布方式 依据步骤2:测试初始表结构下的系统性能并建立基线中所基线的各表大小,分布方式设置如下: 表名 行数 分布方式 Store_Sales 287997024 Hash
Plan Hint实际调优案例 本节以TPC-DS标准测试的Q24的部分语句为例,在1000X,24DN环境上,说明使用plan hint进行实际调优的过程。示例如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。 表1 分布列选择原则 分布方式