检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
函数和操作符 字符处理函数和操作符 二进制字符串函数和操作符 位串函数和操作符 数字操作函数和操作符 时间、日期处理函数和操作符 SEQUENCE函数 数组函数和操作符 逻辑操作符 比较操作符 模式匹配操作符 聚集函数 窗口函数 类型转换函数 JSON/JSONB函数和操作符 安全函数
TPC-DS测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
SSB测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
TPC-H测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
Server,简称BMS)作为集群的节点,每个裸金属服务器是集群中的一个节点。 与虚拟私有云的关系 数据仓库服务使用虚拟私有云(Virtual Private Cloud,简称VPC)为集群提供网络拓扑,实现多个不同集群互相隔离并控制访问。 与对象存储服务的关系 数据仓库服务使用对象存储服务(Object
本实践中两套DWS、ECS服务在同一个区域和虚拟私有云VPC下,确保网络互通。 准备工作 获取此账号的“AK/SK”。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建两套DWS集群 参见创建集群创建两套DWS集群,建议创建在华北-北京四区域。两套集群名称分别为dws-demo01和dws-demo02。
函数和操作符 字符处理函数和操作符 二进制字符串函数和操作符 位串函数和操作符 数字操作函数和操作符 时间、日期处理函数和操作符 SEQUENCE函数 数组函数和操作符 逻辑操作符 比较操作符 模式匹配操作符 聚集函数 窗口函数 类型转换函数 JSON/JSONB函数和操作符 安全函数
已获取服务对应区域终端节点地址,具体请参考地区和终端节点。 已获取华为云账号对应的用户名、用户密码、账号名及项目ID。在华为云控制台右上角“我的凭证->API凭证->项目列表”查看用户名、账号名、用户密码和所属区域项目ID。项目ID获取方法请参见获取项目ID。 创建VPC,并获取VPC和子网的ID,具体参考虚拟私有云VPC。
机构、电信运营商对数据安全和用户隐私的要求,并在以上各行业被广泛使用。公有云数据仓库服务还获得了如下安全认证: 网络安全实验室ICSL的认证:该认证是遵从英国当局颁布的网络安全标准设立的。 隐私和安全管理当局PSA的官方认证:该认证满足欧盟对数据安全和隐私的要求。 业务数据安全
尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图1所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程
尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图1所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程
GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如果用户当前使
尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图 1 表定义流程所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程
GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如果用户当前使
gds_check用于对GDS部署环境进行检查,包括操作系统参数、网络环境、磁盘占用情况等,也支持对可修复系统参数的修复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。 注意事项 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。 脚本需要在python
SMP手动调优建议 如果想手动进行SMP调优,需要熟练掌握SMP相关参数配置建议,并了解本节内容。 使用限制 系统的CPU、内存、I/O和网络带宽等资源充足。SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会引起资源消耗的增加,当上述资源成为瓶颈的情况下,SMP无法
附录 状态码 错误码 创建VPC 获取项目ID 获取账号ID 获取集群ID 自定义指标列表
0):采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。 实时数仓:在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力
如何选择GaussDB(DWS)区域和可用分区 数据在GaussDB(DWS)中是否安全? 可以修改GaussDB(DWS)集群的安全组吗? 数据库、数据仓库、数据湖、湖仓一体分别是什么? GaussDB(DWS)的脏页是如何产生的? 如何使用VPC共享来处理GaussDB(DWS)资源?
性能调优是数据库应用开发和迁移过程中的关键步骤,在整个项目实施过程中占据很大的份量。通过性能调优可以提高数据库的资源利用率,降低业务成本,还可以大大降低应用系统的运行风险,提高系统稳定性,给客户带来更大的价值。 SQL调优的唯一目的是“资源利用最大化”,即CPU、内存、磁盘IO、网络IO四种资