检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB(DWS)在CPU核数、内存相同的情况下,小规格多节点与大规格三节点集群如何选择? 小规格多节点: 如果数据量不大、集群节点数量需要伸缩,但不能忍受太高的成本,可以选择小规格多节点集权。 例如,规格为8核32G的小规格集群(dwsx2.h.2xlarge.4.c6)
不限制资源池使用的CPU核,当一个CPU满负载时,在该CPU上运行作业的资源池按照权重的比例抢占CPU时间片。 可利用专属限额限制语句运行的CPU核心,利用配额指定语句争抢CPU时间片的能力。 设置异常规则及时终止高CPU语句。 防止极端场景下某个语句占用CPU资源过多,导致数据
CPU管控 GS_263200040 错误码: Cgroup failed to attach (tid %d) into "%s" group: %s(%d). 解决方案:请确认控制组%s的路径是否已被更改或删除了。 level: WARNING 父主题: WLM
使用的CPU时间比例。 共享配额有两层含义: 共享:CPU是所有控制组共享的,其他控制组能够使用空闲的CPU资源。 配额:业务繁忙、CPU满负载情况下,控制组之间按照配额比例进行CPU抢占。 共享配额基于cpu.shares实现,只有在CPU满负载情况下生效,因此在CPU空闲情况
监控:单击弹出侧拉栏展示CPU、内存、磁盘等资源池资源的消耗历史趋势。 CPU使用率:资源池的实时CPU计算资源使用率。 共享配额:当前资源池的用户在执行作业时可以使用的CPU时间比例。 存储资源:资源池的存储空间。 磁盘使用率:资源池的实时磁盘使用率。 内存资源:资源池的内存配置的百分比。
(n+主DN个数)。该参数目的是尽可能保证系统的可靠性,不会因数据库内存膨胀导致节点OOM。这个公式中提到vm.min_free_kbytes,其含义是预留操作系统内存供内核使用,通常用作操作系统内核中通信收发内存分配,至少为5%内存。即, max_process_memory=物理内存*0.8/(n+主DN个数),其中,当集群规模小于256时,
主服务器 enable_data_replicate 参数说明:当数据库在数据导入行存表时,主机与备机的数据同步方式可以进行选择。 参数类型:USERSET 取值范围:布尔型 on表示导入数据行存表时主备数据采用数据页的方式进行同步。当replication_type参数为1时,不允许设置为on。
语句执行的开始时间。 min_cpu_time bigint 语句在所有DN上的最小CPU时间,单位为ms。 max_cpu_time bigint 语句在所有DN上的最大CPU时间,单位为ms。 total_cpu_time bigint 语句在所有DN上的CPU总时间,单位为ms。 query
主服务器 enable_data_replicate 参数说明:当数据库在数据导入行存表时,主机与备机的数据同步方式可以进行选择。 参数类型:USERSET 取值范围:布尔型 on表示导入数据行存表时主备数据采用数据页的方式进行同步。当replication_type参数为1时,不允许设置为on。
参数类型:USERSET 取值范围:枚举类型 none表示不扩展内存 negative表示按需扩展内存,算子按需扩展,估算的多扩展多,估算的小扩展的小。 crazy表示直接扩展内存,等同于默认资源池的内存扩展策略,但在业务场景内存较小的情况下可能出现内存不足报错。 默认值:none async_io_acc_max_memory
原因分析 存在部分SQL语句使用内存资源过多,造成内存资源耗尽,其余语句执行作业时无法分配到内存就提示内存不足。 处理方法 调整业务执行时间窗,与高并发执行业务的时间错峰执行。 查询当前集群的内存使用情况,找到内存使用过高的语句并及时终止,释放资源之后集群内存就会恢复。具体的操作步骤如下:
监控界面。 选择“监控 > 节点监控 > 概览”可查看当前集群各节点CPU使用率的具体情况,单击最右的监控按钮,查看最近1/3/12/24小时的CPU性能指标,判断是否有CPU使用率突然增大的情况。 如果CPU使用率频繁出现短时间内上升然后恢复正常的情况,说明是业务执行过程中的临
共享配额非绝对限制,只有在发生CPU竞争时才生效。例如,资源池A和B被绑定在CPU1运行,当A和B均运行时参数生效,只有A运行则参数不生效。 所有资源池的CPU专属限额总和最大不能超过100%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 - 内存资源(%) 资源池所占用的内存百分比。
创建外部服务器 本章节包含创建OBS外部服务器和创建HDFS外部服务器。 创建OBS外部服务器的步骤如下: 创建外部服务器 使用即将创建外部服务器的用户去连接其对应的数据库。 在本示例中,将使用(可选)新建用户及数据库并授予外表权限中创建的普通用户dbuser连接其创建的数据库mydatabase
type=hdfs} (3 rows) 查询结果中,每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息: srvname值包含“hdfs_server”字样以及MRS集群的ID,此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字
创建外部服务器 创建外部服务器,用于定义OBS服务器的信息,供外表调用。 (可选)新建用户及数据库并授予外表权限 如果您将使用普通用户在自定义数据库中创建外部服务器和外表,由于普通用户没有外表权限无法创建,所以,您必须参照以下步骤新建用户和数据库,并授予该用户外表权限。 以下示例
创建用户和数据库并授予外表权限 手动创建外部服务器 需要注意的是,当您不再需要从该MRS数据源读取数据时,通过GaussDB(DWS)管理控制台删除MRS数据源,仅会删除在默认数据库postgres中自动创建的外部服务器,手动创建的外部服务器需要您手动删除,具体操作请参见删除手动创建的外部服务器中的描述。 创建用户和数据库并授予外表权限
语句执行的开始时间。 min_cpu_time bigint 语句在所有DN上的最小CPU时间,单位为毫秒。 max_cpu_time bigint 语句在所有DN上的最大CPU时间,单位为毫秒 total_cpu_time bigint 语句在所有DN上的CPU总时间,单位为毫秒。 query
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
used_memory int 用户使用的内存大小,单位为MB。 DN:显示当前DN上用户使用的内存大小。 CN:显示所有DN上用户使用内存的累积和。 total_memory int 资源池使用的内存大小,单位为MB。值为0表示未限制最大可用内存,其限制取决于数据库最大可用内存max_dynamic_memory。具体的计算公式为: