检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接集群时建议连接ELB地址。 表3 网络 参数 参数说明 区域 集群的工作区域。 可用分区 显示创建集群时所选择的可用分区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS)集群创
GDS实践指南 安装GDS前必须确认GDS所在服务器环境的系统参数是否和数据库集群的系统参数一致。 GDS与GaussDB(DWS)通信要求物理网络畅通,尽量使用万兆网。因为千兆网无法承载高速的数据传输压力,极易出现断连,使用千兆网时GaussDB(DWS)无法提供通信保障。满足万兆网
在等值过滤条件使用最多且distinct值分布相对均匀的一个列上创建二级分区(distinct值的分布过于倾斜或者个数太少的列不要创建二级分区); 除了二级分区之外的等值过滤列,如果过滤条件涉及的列在查询中基本固定,使用cbtree索引,创建索引的列数不要超过5列; 除了二级分区之外的等值过滤列,如果过滤条件涉
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
TPC-H测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
TPC-DS测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
SSB测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
集群监控开关按钮默认开启。 当集群处于修复过程中时应该先关闭集群监控开关。当修复完成后,再开启集群监控服务。 当集群中有节点下电或集群管理IP网络不通时,集群监控开关和集群采集指标配置按钮不可用。 监控采集 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面,找到需要查看监控的集群。
05 170.08 172.62 TPC-DS 1321.76 645.424 622.214 在9.1.0版本,我们使用存算分离架构指定二级分区,基于ssb-flat 100 GB测试基准,对比DWS和ClickHouse的性能表现。从以下测试结果可以看到: 开箱性能相比开源厂
端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数
在GaussDB(DWS)上,创建外表tpcds.customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示:
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。更多信息请参见共享VPC。 约束与限制 所有者和使用者的子网在同一个VPC内,子网默认网络互通。但是由于使用者和所有者位于共享子网内的资源关联不同的安全组内,因此资源之间网络隔离,如果
DWS)支持在相同网络中,配置一个GaussDB(DWS)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(DWS)。 确保MRS跟DWS网络互联互通,主要分以下几种场景: 场景一:MRS与DWS在同一个区域、同一个VPC下,默认网络互通。 场景二:MR
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
租户发现和入侵。 网络划分为业务平面和管理平面,两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 安全组规则保护,租户可以通过自定义安全组的功能, 配置安全域的访问规则,提供灵活的网络安全性配置。 外部应用软件访问数据仓库服务支持SSL网络安全协议。 支持数据从OBS导入的加密传输。
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
入Am的过程,这样会频繁发生网络IO去重新缓存小表的数据,此时会极大的降低大表join小表的性能。 调优语法 当前提供了一种新的调优策略,即允许用户将上述描述场景中的小表数据直接入到Am队列中,保证小表的数据一直是热数据,join时不会频繁的发生网络IO而去重新加载小表数据,语法格式支持以下三种:
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。