检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在GaussDB(DWS)上,创建外表tpcds.customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示:
端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数
解决办法:请联系技术支持工程师提供技术支持。 GAUSS-52634 : "There is no normal CN and primary DN on local node." SQLSTATE: 无 错误原因:没有获取正常CN和DN主实例。 解决办法:请联系技术支持工程师提供技术支持。
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
连接集群时建议连接ELB地址。 表3 网络 参数 参数说明 区域 集群的工作区域。 可用分区 显示创建集群时所选择的可用分区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS)集群创
"unrecognized RTE type: %d" SQLSTATE: XX000 错误原因:系统内部错误。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-00315: "relation '%s' in FOR UPDATE/SHARE clause not found
variable-result cached plans" SQLSTATE: XX000 错误原因:系统内部错误。 解决办法:请联系技术支持工程师提供技术支持。 父主题: GAUSS-01101 -- GAUSS-01200
列存表为:YES/NO/LOW/MIDDLE/HIGH,默认值为LOW。 行存表为:YES/NO,默认值为NO。(行存表压缩功能暂未商用,如需使用请联系技术支持工程师) 各压缩级别所适用的业务场景说明如下: 压缩级别 所适用的业务场景 低级别压缩 系统CPU使用率高,存储磁盘空间充足。 中度压缩 系统C
解决办法:1.检查网络连接是否正常;2.检查配置文件是否正确。 GAUSS-51644 : "Failed to set resource control for the cluster." SQLSTATE: 无 错误原因:设置集群资源控制失败。 解决办法:请联系技术支持工程师提供技术支持。
SMP适用场景与限制 背景信息 SMP特性通过算子并行来提升性能,同时会占用更多的系统资源,包括CPU、内存、网络、I/O等等。本质上SMP是一种以资源换取时间的方式,在合适的场景以及资源充足的情况下,能够起到较好的性能提升效果;但是如果在不合适的场景下,或者资源不足的情况下,反
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
能劣化的问题。 网络带宽资源 为了实现查询并行执行,会新增并行线程间的数据交换算子。对于Local类Stream算子,所需要进行数据交换的线程在同一个DN内,通过内存交换,不会增加网络负担。而非Local类算子,需要通过网络进行数据交换,因此会加重网络负担。当网络资源成为瓶颈的情况下,并行可能会导致一定程度的劣化。
"Interval value can not be NULL" SQLSTATE: 42601 错误原因:系统内部错误。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-00397: "duplicate partition name: '%s'" SQLSTATE: 42710
concurrent partitioned indexes " SQLSTATE: 0A000 错误原因:系统内部错误。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-01273: "partitioned table does not support global index"
据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。
客户端内存占用过多解决 此示例主要使用setFetchSize来调整客户端内存使用,它的原理是通过数据库游标来分批获取服务器端数据,但它会加大网络交互,可能会损失部分性能。 由于游标事务内有效,故需要先关闭自动提交。 1 2 3 4 5 6 7 8 9 10 11 12
集群开启IPv6功能后,内网IP会同时展示IPv4和IPv6,您可根据需要进行使用。 公网域名 通过外部网络访问集群数据库的域名地址。更多信息请参见管理GaussDB(DWS)集群访问域名。 说明: 不支持负载均衡能力。 公网IP 通过外部网络访问集群数据库的IP地址。 说明: 如果创建集群时没有绑定弹性IP,“
表2 磁盘检查 检查项 警告 磁盘空间使用率 大于等于70%且小于90% inode使用率 大于等于70%且小于90% 表3 网络检查 检查项 报错 检查网络连通性 包100%丢失 检查网卡多队列 开启网卡多队列且绑定不同CPU,支持fix修改 语法 检查命令 gds_check -t
列存表为:YES/NO/LOW/MIDDLE/HIGH,默认值为LOW。 行存表为:YES/NO,默认值为NO。(行存表压缩功能暂未商用,如需使用请联系技术支持工程师) 各压缩级别所适用的业务场景说明如下: 压缩级别 所适用的业务场景 低级别压缩 系统CPU使用率高,存储磁盘空间充足。 中度压缩 系统C
SMP手动调优建议 如果想手动进行SMP调优,需要熟练掌握SMP相关参数配置建议,并了解本节内容。 使用限制 系统的CPU、内存、I/O和网络带宽等资源充足。SMP架构是一种利用富余资源来换取时间的方案,计划并行之后必定会引起资源消耗的增加,当上述资源成为瓶颈的情况下,SMP无法