检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。更多信息请参见共享VPC。 约束与限制 所有者和使用者的子网在同一个VPC内,子网默认网络互通。但是由于使用者和所有者位于共享子网内的资源关联不同的安全组内,因此资源之间网络隔离,如果
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
免费体验GaussDB(DWS) 数据分析实验室是华为云官方实验平台,实验环境为华为云现网环境,整个实验过程完全免费。供您在最短时间内体验GaussDB(DWS)真实环境,快速上手。 开发者可通过表1实验手册指导,使用环境中预置的华为云账号,一键创建GaussDB(DWS)实验环
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
TION_SKEWNESS 基于资源池支持网络IO管控 新增enable_libcomm_schedule参数控制是否开启网络管控。 新增low_priority_bandwidth参数设置低优队列可以占用的网络带宽上限,用于低优队列网络流控。 以下系统表和系统视图中新增字段se
连接集群时建议连接ELB地址。 表3 网络 参数 参数说明 区域 集群的工作区域。 可用分区 显示创建集群时所选择的可用分区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS)集群创
内存错误(内存不足、内存不可用、内存溢出等) 02 磁盘错误 03 网络错误(建联失败、拒绝访问等) 04 文件错误(文件未找到、文件大小错误、文件格式错误、读文件失败、写文件失败、文件损坏等) 05 连接错误(连接不存在、连接失败、连接不可用,所连接平台出错等) 06 协议错误 10 语法错误(不支持的语法、找不到的对象等)
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
表2 磁盘检查 检查项 警告 磁盘空间使用率 大于等于70%且小于90% inode使用率 大于等于70%且小于90% 表3 网络检查 检查项 报错 检查网络连通性 包100%丢失 检查网卡多队列 开启网卡多队列且绑定不同CPU,支持fix修改 语法 检查命令 gds_check -t
针对即时的分析需求,分析人员可实时从大数据平台上获取信息。 弹性伸缩 增加节点,即可扩展系统的数据存储能力和查询分析的性能,可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色,更是海量数据收集、存储、分析的核心。为金融、教育、移动互联网、O2O(Online
什么是数据仓库服务 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/T
技术支持 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Terada
将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表的列名和类型名要完全一致,且远端表的类型为行存表、列存表、哈希表或者复制表。 如果关联的表在另外一个集群
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
入Am的过程,这样会频繁发生网络IO去重新缓存小表的数据,此时会极大的降低大表join小表的性能。 调优语法 当前提供了一种新的调优策略,即允许用户将上述描述场景中的小表数据直接入到Am队列中,保证小表的数据一直是热数据,join时不会频繁的发生网络IO而去重新加载小表数据,语法格式支持以下三种:
必须在root用户下执行脚本gds_install。 用户需要检查上层目录权限,保证GDS用户对安装操作目录、安装目录及安装包有读写执行的权限。 目前不支持跨平台的安装部署。 执行命令节点也必须是安装部署机器之一。 --host参数指定的所有节点的密码必须保持一致,才能保证脚本成功进行远程部署。 语法
据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
GaussDB(DWS)使用流程 数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS)是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时