检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附录:表创建语法 本节所附为调优表实践中使用到的SQL测试语句,推荐您将每节的SQL语句拷贝并另存为.sql文件。例如,创建一个包含“创建初始表”SQL语句的create_table_fir.sql文件。创建后使用SQL客户端工具执行.sql文件效率更高,且利于统计用例的总耗费时间。使用gsql运行
载。 客户端工具包包含以下内容: 数据库连接工具Linux gsql和测试样例数据的脚本 Linux gsql是一款运行在Linux环境上的命令行客户端,用于连接GaussDB(DWS)集群中的数据库。 测试样例数据的脚本用于执行入门示例。 Windows版本gsql Windows
Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 产品首页 图说DWS 图说DWS 立即使用 成长地图 由浅入深,带您玩转DWS
GaussDB(DWS)导入性能都和哪些因素有关联? dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
在创建集群之前,您需要创建VPC,为GaussDB(DWS) 服务提供一个安全、隔离的网络环境。 如果用户已有VPC,可重复使用,不需多次创建。 关于创建VPC的详细信息可以参考《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 操作步骤 登录管理控制台。 选择“网络 > 虚拟私有云”。 在“虚拟私有云”界面,单击“创建虚拟私有云”,创建虚拟私有云。
)比行执行引擎性能要好很多,因此一般建议使用列存表。特别是对一些中间结果集转储的表,一定要分析清楚,使用合适的表存储类型。 优化前 某局点测试过程遇到如下的执行计划,客户希望将性能提升至3s内返回结果。 优化后 经过分析发现计划走了行引擎。根本原因是:临时计划表input_acc
)比行执行引擎性能要好很多,因此一般建议使用列存表。特别是对一些中间结果集转储的表,一定要分析清楚,使用合适的表存储类型。 优化前 某局点测试过程遇到如下的执行计划,客户希望将性能提升至3s内返回结果。 优化后 经过分析发现计划走了行引擎。根本原因是:临时计划表input_acc
) WITH (ORIENTATION = column,COMPRESSION=middle); 选择分布方式 依据步骤2:测试初始表结构下的系统性能并建立基线中所基线的各表大小,分布方式设置如下: 表名 行数 分布方式 Store_Sales 287997024 Hash
Plan Hint实际调优案例 本节以TPC-DS标准测试的Q24的部分语句为例,在1000X,24DN环境上,说明使用plan hint进行实际调优的过程。示例如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Plan Hint实际调优案例 本节以TPC-DS标准测试的Q24的部分语句为例,在1000X,24DN环境上,说明使用plan hint进行实际调优的过程。示例如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Hologres连接信息 单击“测试”,测试连通后,单击“保存”。 配置CDM的目标端连接。 参见同样方法,选择“作业管理 > 连接管理 > 新建连接”。 选择“数据仓库服务(DWS)”,单击“下一步”。 同理,填写DWS的数据库信息。 图7 DWS连接信息 单击“测试”,测试连通后,单击“保存”。
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。每当有新数据加入进行统计时,只需要把数据经过哈希计算并插入到HLL中,最后根据HLL就可以得到结果。
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。每当有新数据加入进行统计时,只需要把数据经过哈希计算并插入到HLL中,最后根据HLL就可以得到结果。
> 队列管理”,选择dli_dws所在行操作列的“更多 > 测试地址连通性”。 在地址栏中,输入1.a获取的Kafka实例的内网IP和端口(Kafka的地址有三个,输入一个即可)。 图7 测试kafka连通性 单击“测试”,验证DLI连通Kafka成功。 进入到DWS管理控制台,左侧导航栏单击“专属集群
集群监控开关按钮默认开启。 当集群处于修复过程中时应该先关闭集群监控开关。当修复完成后,再开启集群监控服务。 当集群中有节点下电或集群管理IP网络不通时,集群监控开关和集群采集指标配置按钮不可用。 监控采集 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。
修饰符,则执行UPDATE延迟。 输入示例 1 2 #测试 LOW_PRIORITY 语法点 UPDATE LOW_PRIORITY employees SET department_id=2; 输出示例 1 2 --测试 LOW_PRIORITY 语法点 UPDATE "public"
集群开启IPv6功能后,内网IP会同时展示IPv4和IPv6,您可根据需要进行使用。 公网域名 通过外部网络访问集群数据库的域名地址。更多信息请参见管理GaussDB(DWS)集群访问域名。 说明: 不支持负载均衡能力。 公网IP 通过外部网络访问集群数据库的IP地址。 说明: 如果创建集群时没有绑定弹性IP,“
ADB信息 单击“测试”,测试连通后,单击“保存”。 配置CDM的目标端连接。 参见同样方法,选择“作业管理 > 连接管理 > 新建连接”。 选择“数据仓库服务(DWS)”,单击“下一步”。 同理,填写DWS的数据库信息。 图8 DWS信息 单击“测试”,测试连通后,单击“保存”。
例数据从OBS导入集群,并对样例数据进行查询和分析。导入的样例数据是使用TPC-DS测试基准生成的标准性能测试数据。 TPC-DS是数据库决策支持测试基准。通过使用TPC-DS的测试数据以及测试案例,用户可以模拟真实场景下大数据集的统计、报表生成、联机查询、数据挖掘等复杂场景,从而了解数据库应用的功能和性能。
例数据从OBS导入集群,并对样例数据进行查询和分析。导入的样例数据是使用TPC-DS测试基准生成的标准性能测试数据。 TPC-DS是数据库决策支持测试基准。通过使用TPC-DS的测试数据以及测试案例,用户可以模拟真实场景下大数据集的统计、报表生成、联机查询、数据挖掘等复杂场景,从而了解数据库应用的功能和性能。