华为云用户手册

数据仓库服务 GAUSSDB(DWS)-优化器方法配置:expected_computing_nodegroup

expected_computing_nodegroup 参数说明：标识选定的计算Node Group模式或目标计算Node Group。Node Group目前为内部用机制，用户无需设置。共4种计算Node Group模式，用于关联操作和聚集操作时选定计算Node Group。在每一种模式中，优化器有针对性地选定几个候选计算Node Group，然后根据代价，从中为当前算子挑选更合适的计算Node Group。参数类型：USERSET 取值范围：字符串 optimal：候选计算Node Group列表包含算子操作对象所在的Node Group和由当前用户具有COMPUTE权限的所有Node Group包含的所有DN构成的Node Group。 query：候选计算Node Group列表包含算子操作对象所在的Node Group和由当前查询涉及的所有基表所在Node Group包含的所有DN构成的Node Group。 bind：当前session用户是逻辑集群用户时，候选计算Node Group为当前用户关联的逻辑集群的Node Group；当session用户不是逻辑集群用户时，候选计算Node Group选取规则和参数设置为query时的规则一致。 Node Group名： enable_nodegroup_debug为off时：候选计算Node Group列表包含算子操作对象所在的Node Group和该指定的Node Group。 enable_nodegroup_debug为on时：候选计算Node Group为指定的Node Group。默认值：bind

数据仓库服务 GAUSSDB(DWS) 查询规划
数据仓库服务 GAUSSDB(DWS)-检查点:checkpoint_segments

checkpoint_segments 参数说明：设置checkpoint_timeout周期内所保留的最少WAL日志段文件数量。每个日志文件大小为16MB。参数类型：SIGHUP 取值范围：整型，最小值1。默认值：64 提升此参数可加快大数据的导入速度，但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用数量，通常情况下pg_xlog文件夹下最大的复用文件个数为2倍的checkpoint_segments个，复用的文件被改名为后续即将使用的WAL日志段文件，不会被真正删除。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-设置:wal_compression

wal_compression 参数说明：控制是否对FPI页面进行压缩。参数类型：USERSET 取值范围：布尔型 on表示开启FPI压缩。 off表示关闭FPI压缩。默认值：on 当前压缩算法为zlib，暂不支持设置为其他压缩算法。对于通过从低版本升级成为当前版本的集群，此参数默认关闭（off）。如果用户需要，可以通过gs_guc命令打开FPI压缩功能。当前版本若为全新安装版本，此参数默认打开（on）。从低版本升级上来的集群，如果手动开启了此参数，不允许再进行集群回滚操作。

数据仓库服务 GAUSSDB(DWS) 预写式日志
数据仓库服务 GAUSSDB(DWS)-设置:commit_delay

commit_delay 参数说明：表示一个已经提交的数据在WAL缓冲区中存放的时间。参数类型：USERSET 取值范围：整型， 0～100000（微秒），其中0表示无延迟。默认值：0 设置为非 0 值时事务执行commit后不会立即写入WAL中，而仍存放在WAL缓冲区中，等待WalWriter进程周期性写入磁盘。如果系统负载很高，在延迟时间内，其他事务可能已经准备好提交。但如果没有事务准备提交，这个延迟就是在浪费时间。

数据仓库服务 GAUSSDB(DWS) 预写式日志
数据仓库服务 GAUSSDB(DWS)-并行导入:raise_errors_if_no_files

raise_errors_if_no_files 参数说明：导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE，则“导入文件不存在”的时候， GaussDB (DWS)将抛出“文件不存在的”错误。参数类型：SUSET 取值范围：布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。 off表示导入时不区分“导入文件记录数为空”和“导入文件不存在”。默认值：off

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-并行导入:gds_debug_mod

gds_debug_mod 参数说明：为了增强对Gauss Data Service （以下简称GDS）相关问题的分析定位能力，可以通过此参数选择是否开启GDS的debug功能。参数开启后，将在集群节点对应的日志中输出GDS每次收发的包裹类型、命令交互的对端以及其他交互相关的细节信息，方便记录Gaussdb端状态机的状态跳转，以及目前所处的状态信息。此参数打开会输出额外日志，增加日志IO开销，进而影响性能和日志的信息有效性，因此请仅在定位GDS问题时开启。参数类型：USERSET 取值范围：布尔型 on表示开启GDS debug功能。 off表示不开启GDS debug功能。默认值：off

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-基于开销的清理延迟:vacuum_cost_delay

vacuum_cost_delay 参数说明：指定开销超过vacuum_cost_limit的值时进程将进入休眠的时间长度。参数类型：USERSET 取值范围：整型，0~100，单位为毫秒（ms）。正数值表示打开基于开销的清理延迟特性；0表示关闭基于开销的清理延迟特性。默认值：0 许多系统上，休眠的有效分辨率是10毫秒。因此把vacuum_cost_delay设置为一个不是10的整数倍的数值与将它设置为10的整数倍作用相同。此参数一般设置较小，常见的设置是10或20毫秒。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-内核资源使用:max_files_per_node

max_files_per_node 参数说明：限制单个节点上单个SQL打开的文件最大数量。通常情况下，不需要设置此参数。 8.1.3集群版本中仅8.1.3.310及以上版本支持。参数类型：SUSET 取值范围：整型，-1~INT_MAX，其中-1表示不限制最大数量。默认值：50000 新安装8.1.3.310及以上集群版本中该参数的默认值为50000。升级场景下若原集群已支持max_files_per_node参数，该参数的默认值为保持前向兼容维持原值。升级场景下若原集群未支持max_files_per_node参数，升级后集群中该参数的默认值为-1。执行语句报错“The last file name is [%s] and %d files have already been opened on data node [%s] with a maximum of %d files.”时，请尝试增大max_files_per_node值。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-语句磁盘空间管控:sql_use_spacelimit

sql_use_spacelimit 参数说明：限制单个SQL在单个DN上，触发写盘操作时，所有类型写盘文件的总空间大小，管控的空间包括普通表、临时表以及中间结果集落盘占用的空间。系统管理员用户也受该参数限制。参数类型：USERSET 取值范围：整型，-1~INT_MAX，单位为KB。其中-1表示没有限制。默认值：配置sql_use_spacelimit为实例所在磁盘空间总容量的10%。例如，执行语句中配置参数sql_use_spacelimit=100，当出现单DN写盘超过100kB时，DWS会主动终止该query的运行，并提示用户单DN写盘量超阈值。 1 2 insert into user1.t1 select * from user2.t1; ERROR: The space used on DN (104 kB) has exceeded the sql use space limit (100 kB). 建议处理方式：优化语句，减少语句写盘占用空间。如果磁盘空间充足可以适当调大该参数。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-语句磁盘空间管控:temp_file_limit

temp_file_limit 参数说明：语句执行过程中触发落盘操作时，限制语句中单个线程落盘文件的总空间大小。例如，排序和哈希表使用的临时文件或者游标占用的临时文件。此设置为会话级别的落盘文件控制。参数类型：SUSET 取值范围：整型，-1~INT_MAX，单位为KB。其中-1表示没有限制。默认值：配置temp_file_limit为实例所在磁盘空间总容量的10%。 SQL查询执行时使用的临时表空间不在此限制。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-语句磁盘空间管控:bi_page_reuse_factor

bi_page_reuse_factor 参数说明：行存表批量插入场景下，主备DN使用页复制进行数据同步时，可以复用的旧页面空闲空间的百分比。参数类型：USERSET 取值范围：整型，0~100，单位为%。其中0表示不对页面进行复用，全部申请新页面。默认值：70 不建议将此值设置为50以下（0除外），如果复用页面的空闲空间较小的话，会使主备DN间传输过多的旧页面数据，从而导致批量插入性能下降。不建议将此值设置为90以上，如果此值设置过高，会导致频繁查询空闲页面，但又无法复用旧页面，得不偿失。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-内存:maintenance_work_mem

maintenance_work_mem 参数说明：设置在维护性操作（比如VACUUM、CREATE INDEX、ALTER TABLE ADD FOREIGN KEY等）中可使用的最大的内存。该参数的设置会影响VACUUM、VACUUM FULL、CLUSTER、CREATE INDEX的执行效率。参数类型：USERSET 取值范围：整型，1024~INT_MAX，单位为KB。默认值：小规格内存为512MB，大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。设置建议：建议设置此参数的值等于work_mem，可以改进清理和恢复数据库转储的速度。因为在一个数据库会话里，任意时刻只有一个维护性操作可以执行，并且在执行维护性操作时不会有太多的会话。当自动清理进程运行时，autovacuum_max_workers倍数的内存将会被分配，所以此时设置maintenance_work_mem的值应该不小于work_mem。如果进行大数据量的cluster等，可以在session中调大该值。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:max_stack_depth

max_stack_depth 参数说明：设置GaussDB(DWS)执行堆栈的最大安全深度。需要这个安全界限是因为在服务器里，并非所有程序都检查了堆栈深度，只是在可能递规的过程，比如表达式计算这样的过程里面才进行检查。参数类型：SUSET 设置原则：此参数的最佳设置是等于操作系统内核允许的最大值（就是ulimit -s的设置）。如果设置此参数的值大于实际的内核限制，则一个正在运行的递归函数可能会导致一个独立的服务器进程崩溃。在GaussDB(DWS)能够检测内核限制的操作系统上（SLES上），将自动限制设置为一个不安全的值。因为并非所有的操作都能够检测，所以建议用户在此设置一个明确的值。取值范围：整型，100~INT_MAX，单位为KB。默认值：2MB 默认值2MB，这个值相对比较小，不容易导致系统崩溃。但是可能会因为该值较小，导致无法执行复杂的函数。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:psort_work_mem

psort_work_mem 参数说明：设置列存表在进行局部排序中在开始写入临时磁盘文件之前使用的内存大小。带partial cluster key的表、带索引的表插入，创建表索引，删除表和更新表都会用到。参数类型：USERSET 多个正在运行的会话可能会同时进行表的局部排序操作，因此使用的总内存可能是psort_work_mem的好几倍。取值范围：整型，64~INT_MAX，单位为KB。默认值：512MB

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:agg_max_mem

agg_max_mem 参数说明：设置执行作业中的Agg算子的聚集列超过5列时，该Agg算子所能够使用的最大内存。当agg_max_mem值大于0时生效。（该参数仅8.1.3.200及以上集群版本支持）参数类型：USERSET 取值范围：整型，0，或大于32MB的整型，单位为KB。如果设置值小于32MB，系统会自动将该参数设置为默认值0，此时不会根据该值限制Agg算子的内存使用。默认值：若当前集群为低版本升级到8.1.3版本，继承升级前参数，默认值为INT_MAX。若当前集群为新装的8.1.3版本，默认值为2GB。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:cstore_buffers

cstore_buffers 参数说明：设置列存和OBS、HDFS外表列存格式（orc、parquet、carbondata）所使用的共享缓冲区的大小。参数类型：POSTMASTER 取值范围：整型，16384～INT_MAX，单位为KB。默认值：CN为32MB，DN取公式计算：POWER(2,ROUND( LOG (2,max_process_memory/18),0)) 设置建议：列存表使用cstore_buffers设置的共享缓冲区，几乎不用shared_buffers。因此在列存表为主的场景中，应减少shared_buffers，增加cstore_buffers。 OBS、HDFS外表使用cstore_buffers设置ORC、Parquet、Carbondata的元数据和数据的缓存，元数据缓存大小为cstore_buffers的1/4，最大不超过2GB，其余缓存空间为列存数据和外表列存格式数据共享使用。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:buffer_ring_ratio

buffer_ring_ratio 参数说明：设置并行导出时使用环形缓冲区的阈值大小。参数类型：USERSET 取值范围：整型，1～1000 默认值：250 默认值表示阈值为shared_buffers的250/1000即1/4。最小为shared_buffers的1/1000。最大为shared_buffers的大小。设置建议：导出时出现缓存命中率不符合预期的场景建议在DN中设置此参数。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:shared_buffers

shared_buffers 参数说明：设置GaussDB(DWS)使用的共享内存大小。增加此参数的值会使GaussDB(DWS)比系统默认设置需要更多的System V共享内存。参数类型：POSTMASTER 取值范围：整型，128～INT_MAX，单位为8KB。改变BLCKSZ的值会改变最小值。默认值：CN节点为DN节点值的1/2，DN节点取公式计算：POWER(2,ROUND(LOG(2,max_process_memory/18),0))。如果操作系统支持的共享内存小于32MB，则在初始化数据存储区时会自动调整为操作系统支持的最大值。设置建议：由于GaussDB(DWS)大部分查询下推，建议DN中此参数设置比CN大。建议设置shared_buffers值为内存的40%以内。行存列存分开对待。行存设大，列存设小。列存：(单服务器内存/单服务器DN个数)*0.4*0.25。如果设置较大的shared_buffers需要同时增加checkpoint_segments的值，因为写入大量新增、修改数据需要消耗更多的时间周期。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:max_process_memory

max_process_memory 参数说明：设置一个数据库节点可用的最大物理内存。参数类型：POSTMASTER 取值范围：整型，2*1024*1024～INT_MAX/2，单位为KB。默认值：非从备DN节点自动适配，公式为（物理内存大小）* 0.8 / (1+主DN个数)，当结果不足2GB时，默认取2GB。从备DN默认为12GB。设置建议： DN上该数值需要根据系统物理内存及单节点部署主DN个数决定的。计算公式如下：（物理内存大小 – vm.min_free_kbytes）* 0.8 / (n+主DN个数)。该参数目的是尽可能保证系统的可靠性，不会因数据库内存膨胀导致节点OOM。这个公式中提到vm.min_free_kbytes，其含义是预留操作系统内存供内核使用，通常用作操作系统内核中通信收发内存分配，至少为5%内存。即， max_process_memory=物理内存*0.8/(n+主DN个数)，其中，当集群规模小于256时， n=1；当集群规模大于256且小于512时， n=2；当集群规模超过512时，n=3。 CN上该数值内存可设置与DN数值一样。 RAM ：集群规划时分配给集群的最大使用内存。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:temp_buffers

temp_buffers 参数说明：设置每个数据库会话使用的LOCAL临时缓冲区的大小。参数类型：USERSET 取值范围：整型，800~INT_MAX/2，单位为8KB。默认值：8MB 在每个会话的第一次使用临时表之前可以改变temp_buffers的值，之后的设置将是无效的。一个会话将按照temp_buffers给出的限制，根据需要分配临时缓冲区。如果在一个并不需要大量临时缓冲区的会话里设置一个大的数值，其开销只是一个缓冲区描述符的大小。当缓冲区被使用，就会额外消耗8192字节。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:max_prepared_transactions

max_prepared_transactions 参数说明：设置可以同时处于“预备”状态的事务的最大数目。增加此参数的值会使GaussDB(DWS)比系统默认设置需要更多的System V共享内存。当GaussDB(DWS)部署为主备双机时，在备机上此参数的设置必须要高于或等于主机上的，否则无法在备机上进行查询操作。参数类型：POSTMASTER 取值范围：整型，0~536870911，其中CN取值为0表示关闭预备事务的特性。默认值：CN节点为800， DN节点为800 为避免在准备步骤失败，此参数的值不能小于max_connections。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:work_mem

work_mem 参数说明：设置内部排序操作和Hash表在开始写入临时磁盘文件之前使用的内存大小。ORDER BY，DISTINCT和merge joins都要用到排序操作。Hash表在散列连接、散列为基础的聚集、散列为基础的IN子查询处理中都要用到。对于复杂的查询，可能会同时并发运行好几个排序或者散列操作，每个都可以使用此参数所声明的内存量，不足时会使用临时文件。同样，好几个正在运行的会话可能会同时进行排序操作。因此使用的总内存可能是work_mem的好几倍。参数类型：USERSET 取值范围：整型，64~INT_MAX，单位为KB。默认值：小规格内存为512MB，大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。设置建议：依据查询特点和并发来确定，一旦work_mem限定的物理内存不够，算子运算数据将写入临时表空间，带来5-10倍的性能下降，查询响应时间从秒级下降到分钟级。对于串行无并发的复杂查询场景，平均每个查询有5-10关联操作，建议work_mem=50%内存/10。对于串行无并发的简单查询场景，平均每个查询有2-5个关联操作，建议work_mem=50%内存/5。对于并发场景，建议work_mem=串行下的work_mem/物理并发数。

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-内存:query_max_mem

query_max_mem 参数说明：设置执行作业所能够使用的最大内存。如果设置的query_max_mem值大于0，在生成执行计划时，优化器会根据该值来设置算子的可用内存。当作业执行时实际所使用内存超过该值时，将报错退出。参数类型：USERSET 取值范围：整型，0，或大于32MB的整型，单位为KB。如果设置值小于32MB，系统会自动将该参数设置为默认值0，此时优化器不会根据该值限制作业的内存使用。默认值：0

数据仓库服务 GAUSSDB(DWS) 资源消耗
数据仓库服务 GAUSSDB(DWS)-通信库参数:comm_client_bind

comm_client_bind 参数说明：通信库客户端发起连接时是否使用bind绑定指定IP。参数类型：USERSET 取值范围：布尔型 on表示绑定指定IP。 off表示不绑定指定IP。如果集群某一节点存在多个IP处于同一通信网段时，需设置为on。此时将绑定本地listen_addresses指定的IP发起通信，随机端口号不能重复使用，集群并发数量会受到可用随机端口号数量的限制。默认值：off

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-通信库参数:comm_max_stream

comm_max_stream 参数说明：TCP代理通信库或SCTP通信库支持的最大并发数据流数。该参数值必须大于并发数*每并发平均stream算子数*（smp的平方）。参数类型：POSTMASTER 取值范围：整型，1~60000 默认值：通过公式min(query_dop_limit * query_dop_limit * 2 * 20, max_process_memory(字节) * 0.025 /(最大CN数+当前DN数) / 260)计算，小于1024按照1024取值，其中，query_dop_limit = 单个机器CPU核数 / 单个机器DN数。不建议该参数值设置过大，因为comm_max_stream会占用内存（占用内存=256byte*comm_max_stream*comm_max_datanode），若并发数据流数过大，查询较为复杂及smp过大都会导致内存不足。如果comm_max_datanode参数值较小，进程内存充足，可以适当将comm_max_stream值调大。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-通信库参数:comm_debug_mode

comm_debug_mode 参数说明：TCP代理通信库或SCTP通信库debug模式开关，该参数设置是否打印通信层详细日志，session级别生效。设置为on时，打印日志量较大，会增加额外的overhead并降低数据库性能，仅在调试时打开，打开后及时关闭。参数类型：USERSET 取值范围：布尔型 on表示打印通信库详细debug日志。 off表示不打印通信库详细debug日志。默认值：off

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-通信库参数:max_stream_pool

max_stream_pool 参数说明：设置stream线程池能够容纳stream线程的最大个数。该参数8.1.2及以上版本支持。参数类型：SUSET 取值范围：整型，-1~INT_MAX，-1和0表示关闭stream线程池。默认值：65535 支持实时减少线程池中stream线程的个数；若增大该参数值，stream线程的个数由业务驱动向上增长。通常情况下不建议调整该参数值，因为stream线程池有自动清理功能。如果stream空闲线程过多造成内存占用，可以调小此值以节约内存。

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-通信库参数:comm_timer_mode

comm_timer_mode 参数说明：TCP代理通信库或SCTP通信库timer模式开关，该参数设置是否打印通信层各阶段时间桩，session级别生效。设置为on时，打印日志量较大，会增加额外的overhead并降低数据库性能，仅在调试时打开，打开后及时关闭。参数类型：USERSET 取值范围：布尔型 on表示打印通信库详细时间桩日志。 off表示不打印通信库详细时间桩日志。默认值：off

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-通信库参数:tcp_keepalives_count

tcp_keepalives_count 参数说明：在支持TCP_KEEPCNT套接字选项的操作系统上，设置GaussDB(DWS)服务端在断开与客户端连接之前可以等待的保持活跃信号个数。参数类型：USERSET 如果操作系统不支持TCP_KEEPCNT选项，则此参数的值必须为0。在通过Unix域套接字进行连接的操作系统上，此参数将被忽略。取值范围：整型，0~100，其中0表示GaussDB(DWS)未收到客户端反馈的保持活跃信号则立即断开连接。默认值：0

数据仓库服务 GAUSSDB(DWS)
数据仓库服务 GAUSSDB(DWS)-安全和认证（postgresql.conf）:failed_login_attempts

failed_login_attempts 参数说明：在任意时候，如果输入密码错误的次数达到failed_login_attempts则当前账户被锁定，password_lock_time秒后被自动解锁。例如，登录时输入密码失败，ALTER USER时修改密码失败等。参数类型：SIGHUP 取值范围：整型，0~1000 0表示自动锁定功能不生效。正整数表示当错误密码次数达到failed_login_attempts设定的值时，当前账户将被锁定。默认值：10 failed_login_attempts和password_lock_time必须都为正数时锁定和解锁功能才能生效。 failed_login_attempts会与客户端SSL连接模式共同决定用户的密码错误次数。当PGSSLMODE取值是allow或prefer时，客户的一次密码连接请求会生成两次连接请求：一次是尝试SSL连接，另一次是尝试非SSL连接。此时，用户感知到的密码错误次数是failed_login_attempts除以2。

数据仓库服务 GAUSSDB(DWS)

共100000条

undefined

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！