华为云用户手册

重载函数 PL/Java支持重载函数，因此可以创建同名函数，或者调用Java代码中的重载方法。步骤如下： 创建重载函数 例如，在Java中可以实现两个方法名相同，输入参数类型不同的方法dummy(int) 和dummy(String) public class Example { public static int dummy(int value) { return value*2; } public static String dummy(String value) { return value; } } 并在 GaussDB (DWS)中创建两个同名函数分别指定为上述两个方法： CREATE FUNCTION java_dummy(INTEGER) RETURNS INTEGER AS 'Example.dummy' LANGUAGE JAVA; CREATE FUNCTION java_dummy(VARCHAR) RETURNS VARCHAR AS 'Example.dummy' LANGUAGE JAVA; 调用重载函数 在调用重载函数时，GaussDB(DWS)会根据输入的参数类型去调用匹配该类型的Java方法。因此上述两个函数的调用结果如下所示： SELECT java_dummy(5); java_dummy ----------------- 10 (1 row) SELECT java_dummy('5'); java_dummy --------------- 5 (1 row) 需要注意的是，由于GaussDB(DWS)对数据类型存在隐式转换的情况，因此建议在调用重载函数时，指定输入参数的类型，例如： SELECT java_dummy(5::varchar); java_dummy ---------------- 5 (1 row) 此时会优先匹配所指定的参数类型，如果不存在指定参数类型的Java方法，则会对参数进行隐式转换匹配转换后的参数类型对应的Java方法。 SELECT java_dummy(5::INTEGER); java_dummy ----------------- 10 (1 row) DROP FUNCTION java_dummy(INTEGER); SELECT java_dummy(5::INTEGER); java_dummy ---------------- 5 (1 row) 隐式转换的数据类型包括： 可以默认转换为INTEGER类型的包括：SMALLINT 可以默认转换为BIGINT类型的包括：SMALLINT、INTEGER 可以默认转换为BOOL类型的包括：TINYINT、SMALLINT、INTEGER、BIGINT 可以默认转换为TEXT类型的包括：CHAR、NAME、BIGINT、INTEGER、SMALLINT、 TINYINT、RAW、FLOAT4、FLOAT8、BPCHAR、VARCHAR、NVARCHAR2、DATE、TIMESTAMP、TIMESTAMPTZ、NUMERIC、SMALLDATETIME 可以默认转换为VARCHAR类型的包括：TEXT、CHAR、BIGINT、INTEGER、SMALLINT、TINYINT、RAW、FLOAT4、FLOAT8、BPCHAR、DATE、NVARCHAR2、TIMESTAMP、NUMERIC、SMALLDATETIME 删除重载函数 对于重载函数，删除时需要指定函数的参数类型，否则无法删除。 DROP FUNCTION java_dummy(INTEGER);

基本数据类型映射关系 表1 PL/Java默认数据类型映射关系 GaussDB(DWS) Java BOOLEAN boolean "char" byte bytea byte[] SMALLINT short INTEGER int BIGINT long FLOAT4 float FLOAT8 double CHAR java.lang.String VARCHAR java.lang.String TEXT java.lang.String name java.lang.String DATE java.sql.Timestamp TIME java.sql.Time (stored value treated as local time) TIMETZ java.sql.Time TIMESTAMP java.sql.Timestamp TIMESTAMPTZ java.sql.Timestamp

相关GUC参数 udf_memory_limit 系统级别的GUC参数，用于限制每个CN、DN执行UDF可以使用的物理内存量，默认为0.05 * max_process_memory。可通过修改postgresql.conf文件进行配置，配置后需要重启数据库服务后才可生效。 udf_memory_limit是max_process_memory的一部分。每个CN、DN启动时，会预留（udf_memory_limit - 200MB）内存供UDF Worker进程使用。CN、DN和UDF Worker是不同的进程，但CN、DN自动少用一部分内存，把这部分内存节省下来供UDF Worker进程使用。 例如：在某DN上把max_process_memory设置为10GB，udf_memory_limit设置为4GB，则此DN最多使用10GB - (4GB - 200MB)=6.2GB内存。即使用户没有执行任何UDF，则此DN也最多只能使用6.2GB内存。默认情况下，udf_memory_limit为0.05 * max_process_memory。查询pv_total_memory_detail视图时可以发现，process_used_memory永远不会超过max_process_memory - (udf_memory_limit - 200MB)。 一个CN执行最简单的Java UDF函数，使用的物理内存量大约为50MB，用户可以根据自己Java函数的内存使用量和并发度设置此参数。新增此参数后，不再建议用户设置UDFWorkerMemHardLimit和FencedUDFMemoryLimit。 当UDF进程并发度过大，内存超出udf_memory_limit设置值时会导致进程退出等非预期情况，该场景下执行结果可能不可靠，强烈建议根据实际情况进行参数设置，保留足够内存余量。如果系统记录有/var/log/messages，可查看该日志文件是否存在因超过cgroup内存限制而造成内存不足。内存严重不足时，甚至可能导致UDF master进程退出，可以查看UDF日志进行分析，默认的UDF日志路径在$GAUSS LOG /cm/cm_agent/pg_log下。例如，出现以下日志时就说明内存资源严重不足，导致了UDF master进程退出，需要检查udf_memory_limit参数设置。 0 [BACKEND] FATAL: poll() failed: Bad address, please check the parameter:udf_memory_limit to make sure there is enough memory. FencedUDFMemoryLimit 会话级别的GUC参数，用户限制会话发起的单个Fenced UDF Worker进程的最大虚拟内存使用量，设置方法如下： SET FencedUDFMemoryLimit='512MB'; 该参数的取值范围为 [150MB, 1G]，当设置大于1G时会立即报错，当设置小于等于150MB时，则会在调用函数时报错。 FencedUDFMemoryLimit设置为0，表示不控制Fenced UDF Worker的虚拟内存使用量。 建议通过设置udf_memory_limit控制Fenced UDF Worker使用的物理内存量。不建议用户使用FencedUDFMemoryLimit，尤其在使用Java UDF时不建议用户设置此参数。但是如果用户非常清楚设置该参数带来的影响，可以参考下列信息进行设置： C UDF worker启动之后，占用的虚拟内存约为200MB，占用的物理内存约为16MB。 Java UDF worker启动之后，占用的虚拟内存约为2.5GB，占用的物理内存约为50MB。

示例 使用PL/Java函数时，需要首先将Java方法的实现打包为jar包并且部署到数据库中，然后使用数据库管理员账号创建函数，考虑兼容性问题，请使用1.8.0_322版本的JRE进行编译。 编译jar包。 Java方法的实现和出包可以借助IDE来实现，以下是一个通过命令行来进行编译和出包的简单的示例，通过这个简单示例可以创建出一个包含单个方法的jar包文件。 首先，编写一个Example.java文件，在此文件中实现子字符串大写转换的方法，本例中类名为Example，方法名为upperString，内容如下： 1 2 3 4 5 6 7 public class Example { public static String upperString (String text, int beginIndex, int endIndex) { return text.substring(beginIndex, endIndex).toUpperCase(); } } 然后，创建manifest.txt清单文件，文件内容如下： 1 2 3 4 5 6 Manifest-Version: 1.0 Main-Class: Example Specification-Title: "Example" Specification-Version: "1.0" Created-By: 1.6.0_35-b10-428-11M3811 Build-Date: 08/14/2018 10:09 AM 其中，Manifest-Version定义了manifest文件的版本，Main-Class定义了jar文件的入口类，Specification-Title和Specification-Version属于包的扩展属性，Specification-Title定义了扩展规范的标题，Specification-Version定义了扩展规范的版本，Created-By声明了该文件的生成者，Build-Date声明了该文件构建日期。 最后，编译java文件并打包得到javaudf-example.jar 1 2 javac Example.java jar cfm javaudf-example.jar manifest.txt Example.class jar包的命名规则应符合JDK命名要求，如果含有非法字符，在部署或者使用函数时将出错。 部署jar包。 Jar包首先需要放置到OBS服务器中，放置方法具体请参见《 对象存储服务 控制台指南》的上传文件章节。接着创建访问密钥AK/SK，获取访问密钥的具体步骤，请参见创建访问密钥（AK和SK）章节。登录数据库运行gs_extend_library函数，将文件导入到GaussDB(DWS)中： 1 SELECT gs_extend_library('addjar', 'obs://bucket/path/javaudf-example.jar accesskey=access_key_value_to_be_replaced secretkey=secret_access_key_value_to_be_replaced region=region_name libraryname=example'); gs_extend_library函数如何使用请参见 管理jar包和文件。函数中的AK/SK值，请用户根据实际获取值替换。region_name请用户根据实际所在的区 域名 称替换。 使用PL/Java函数。 首先，使用拥有sysadmin权限的数据库用户（例如：dbadmin）登录数据库并创建java_upperstring函数如下： 1 2 3 4 CREATE FUNCTION java_upperstring(VARCHAR, INTEGER, INTEGER) RETURNS VARCHAR AS 'Example.upperString' LANGUAGE JAVA; 函数java_upperstring中定义的数据类型为GaussDB(DWS)的数据类型。该数据类型需要和步骤1中java定义的方法upperString中数据类型一一对应。GaussDB(DWS)与Java数据类型的对应关系，请参见表1。 AS子句用于指定该函数所调用的Java方法的类名和static方法名，格式为“类名.方法名”。该字段需要和步骤1中java定义的类名和方法名一致。 使用PL/Java函数时，LANGUAGE字段应指定为JAVA。 CREATE FUNCTION更多说明，请参见创建函数。 然后，执行java_upperstring函数： 1 SELECT java_upperstring('test', 0, 1); 得到预期结果为： 1 2 3 4 java_upperstring --------------------- T (1 row) 授权普通用户使用PL/Java函数。 创建普通用户，名称为udf_user。 1 CREATE USER udf_user PASSWORD 'password'; 授权普通用户udf_user对java_upperstring函数的使用权限。注意，此处需要把函数所在模式和函数的使用权限同时赋予给用户，用户才可以使用此函数。 1 2 GRANT ALL PRIVILEGES ON SCHEMA public TO udf_user; GRANT ALL PRIVILEGES ON FUNCTION java_upperstring(VARCHAR, INTEGER, INTEGER) TO udf_user; 以普通用户udf_user登录数据库。 1 SET SESSION SESSION AUTHORIZATION udf_user PASSWORD 'password'; 执行java_upperstring函数： 1 SELECT public.java_upperstring('test', 0, 1); 得到预期结果为： 1 2 3 4 java_upperstring --------------------- T (1 row) 删除函数。 如果不再使用该函数可以进行删除： 1 DROP FUNCTION java_upperstring; 卸载jar包。 使用gs_extend_library函数卸载jar包： 1 SELECT gs_extend_library('rmjar', 'libraryname=example');

什么是GaussDB(DWS)存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB(DWS)中，这个程序就是存储过程。 存储过程是SQL，PL/SQL，Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE PROCEDURE。 GaussDB(DWS) PL/pgSQL语言函数节所提到的PL/pgSQL语言创建的函数与存储过程的应用方法相同。下面各节中，除非特别声明，否则内容通用于存储过程和PL/pgSQL语言函数。

GaussDB(DWS)总体开发设计规范 为有效提升数据开发效率、降低资源消耗、减少业务阻塞，在使用GaussDB(DWS)进行数据开发之前，开发设计应遵循表1列举的开发设计规范。 本设计规范分为注意、警告、危险3个等级，各等级含义如下： 注意：建议用户遵守的设计规范。如果不遵守，可能会影响业务性能、增加运维难度。 警告：遵守这些规则，能够保证业务的高效运行；违反这些规则，可能导致业务阻塞、业务报错。 危险：违反这些规则，可能会造成数据误删、或导致系统重大变更甚至故障。 表1 总体开发设计规范 场景 序号 规范 等级 不遵守规范带来的影响 用户和连接管理 1 尽量避免所有业务使用同一个数据库用户运行，按业务模块规划不同数据库用户。 注意 异常业务或用户操作导致整体集群问题时，无法快速隔离和管控。 2 不建议使用系统管理员用户跑业务，不同模块业务请通过多用户和权限进行访问控制。 注意 管理员用户权限过高，难以管控。 3 不建议业务直连单CN，需配置负载均衡保证各CN连接均衡。 警告 CN上连接不均、负载倾斜拖慢整体性能、CN故障时业务无法自恢复。 4 连接数据库完成所需操作后，要及时关闭数据库连接，避免空闲连接持续占位，消耗连接和公共资源。 警告 空闲连接过多，消耗大量公共资源，正常业务无法建立连接和运行。 5 使用数据库连接池的场景，在业务中通过SET语句进行数据库GUC参数设置后，归还连接池前必须通过RESET还原参数设置。 警告 使用连接池的作业之间互相干扰。 对象设计 6 不建议创建普通表时指定自定义TABLESPACE。 警告 自定义表空间所占存储空间不受管控，会导致空间和性能类问题。 7 创建行存表时应避免指定COMPRESS压缩属性。 警告 行存压缩功能不稳定，后续已废弃。 8 针对普通列存表不建议频繁进行小批量实时入库。 警告 列存实时入库导致小CU膨胀严重，触发持续的空间、资源、性能类问题。 9 创建HASH分布的表对象时，要确保数据分布均匀（10G以上数据量的表，倾斜率控制在10%以内）。 警告 数据分布倾斜，进而导致计算倾斜，导致空间和性能类问题。 10 创建REPLICATION分布的表对象，要确保表数据量控制在100万行以内。 注意 复制表数据量过大会导致存储空间增长风险。 11 创建HSTORE表时，必须确保数据库GUC参数设置满足以下条件： autovacuum设置为on。 autovacuum_max_workers_hstore取值大于0。 autovacuum_max_workers取值大于autovacuum_max_workers_hstore的取值。 警告 HSTORE的delta表急剧膨胀，性能持续下降。 12 针对存在时间字段的大表（数据量5000万行以上），必须设计成分区表，根据查询特征合理设计分区间隔。 警告 针对分区表进行特定时间段的查询、清理效率远高于非分区表。 13 针对有大批量数据增删改的表，索引个数建议控制在3个以内，最多不超过5个。 建议 索引过多影响增删改效率，严重时还会导致xlog堆积和集群故障。 操作规范 14 客户端显式开启事务或手动关闭Autocommit场景，业务最后必须手动执行Commit提交事务。 警告 事务不提交导致长事务，阻塞其他持锁业务和回收操作。 15 针对执行时长超过30分钟的语句，建议优化。 注意 业务效率及性能问题。 16 尽量避免出现执行时长超过2小时的业务，避免长事务、长持锁等影响。 警告 业务性能，长事务阻塞其他持锁业务和回收操作。 17 DROP对象操作（如DATABASE、USER/ROLE、SCHEMA、TABLE、VIEW等对象）存在数据丢失风险，尤其含带CASCADE级联删除场景，会将关联的对象一并删除，操作需谨慎，操作前需考虑数据备份。 危险 数据被异常删除，无法快速恢复。 18 避免在业务高峰期执行ALTER（增删改列、DROP PARTITION等）、TRUNCATE操作，避免有长SQL阻塞ALTER、TRUNCATE操作或SQL业务被ALTER、TRUNCATE阻塞。 警告 ALTER、TRUNCATE持锁级别高，会阻塞其他也并发业务，也会被其他业务阻塞，造成业务卡问题。 19 避免在业务高峰期执行对大表执行CREATE INDEX和REINDEX操作。 警告 CREATE INDEX、REINDEX操作会阻塞数据入库，大表上执行耗时较长会长时间阻塞数据入库。 20 尽量避免出现计划不下推的SQL写法（EXPLAIN输出的执行计划中出现"_REMOTE_XXX_QUERY_"）。 注意 业务性能问题、CN瓶颈。 21 尽量避免行存大表（数据量1000万行以上）的频繁COUNT查询。 注意 业务性能问题、高IO资源消耗。 22 单SQL的UNION/UNION All分支不能超过50，多表关联不能超过25张非复制表。 注意 业务性能问题、高资源消耗。 23 尽量避免大表关联时缺少关联条件而求笛卡尔积。 注意 业务性能问题、高资源消耗。 24 多表关联查询时，单个语句Stream建议控制在100以内。 注意 业务性能问题、高CPU消耗。 25 谨慎使用递归语句(WITH RECURSIVE)，需明确数据重复度和终止条件，确保递归可按预期结束。 注意 业务性能问题、死循环。 26 避免使用UPDATE/DELETE大批量刷新和删除数据，考虑使用TRUNCATE PARTITION/DROP PARTITION代替。 注意 业务性能、脏页问题。 27 避免UPDATE/UPSERT并发更新同一张列存表。 注意 业务性能、锁问题。 28 尽量避免使用存储过程，尤其不要开发结构复杂、嵌套多层的存储过程。 注意 维护效率低、问题定位成本高。 运维管理 29 集群级的数据库参数调整为变更操作，建议联系华为方进行变更风险评估 危险 集群级参数调整可能对客户业务造成影响，需做好评估。 30 单次新增、修改量占表总量10%以上场景，需在业务中增加显式ANALYZE操作。 警告 业务性能稳定性问题。 31 定期对脏页率、小CU占比超过25%的表执行VACUUM FULL，普通表需在低峰期执行，系统表需离线执行。 警告 对象膨胀、业务性能问题。 32 数据库重要程度以上告警，需及时处理并消除告警。 警告 集群长期稳定性。 33 业务批量上线、上量前需在测试集群进行相当规模测试验证，并知会技术支持人员进行业务保障。 注意 业务上线评估、保障。 父主题： GaussDB(DWS)开发设计规范

EXPLAIN PERFORMANCE详解 在SQL调优过程中经常需要执行EXPLAIN ANALYZE或EXPLAIN PERFORMANCE查看SQL语句实际执行信息，通过对比实际执行与优化器的估算之间的差别来为优化提供依据。EXPLAIN PERFORMANCE相对于EXPLAIN ANALYZE增加了每个DN上的执行信息。 表定义如下： 1 2 CREATE TABLE tt01(c1 int, c2 int) DISTRIBUTE BY hash(c1); CREATE TABLE tt02(c1 int, c2 int) DISTRIBUTE BY hash(c2); 以如下SQL查询语句为例： 1 SELECT * FROM tt01,tt02 WHERE tt01.c1=tt02.c2; 执行EXPLAIN PERFORMANCE输出的显示执行信息分为以下8个部分： 执行计划 以表格的形式将计划显示出来，包含有11个字段，分别是：id、operation、A-time、A-rows、E-rows、E-distinct、Peak Memory、E-memory、A-width、E-width和E-costs。字段含义如下表1。 表1 执行字段说明 字段 描述 id 执行算子节点编号。 operation 具体的执行节点算子名称。 Vector前缀的算子是指向量化执行引擎算子，一般出现含有列存表的Query中。 Streaming是一个特殊的算子，它实现了分布式架构的核心数据shuffle功能，Streaming共有三种形态，分别对应了分布式结构下不同的数据shuffle功能： Streaming (type: GATHER)：作用是coordinator从DN收集数据。 Streaming(type: REDISTRIBUTE)：作用是DN根据选定的列把数据重分布到所有的DN。 Streaming(type: BROADCAST)：作用是把当前DN的数据广播给其他所有的DN。 A-time 各DN相应算子执行时间，一般DN上执行的算子的A-time是由[]括起来的两个值，分别表示此算子在所有DN上完成的最短时间和最长时间，包括下层算子执行时间。 注意：在整个计划中，除了叶子节点的执行时间是算子本身的执行时间，其余算子的执行时间均包含子节点的执行时间。 A-rows 表示相应算子输出的全局总行数。 E-rows 每个算子估算的输出行数。 E-distinct 表示hashjoin算子的distinct估计值。 Peak Memory 此算子在每个DN上执行时使用的内存峰值，[]中左侧为最小值，右侧为最大值。 E-memory DN上每个算子估算的内存使用量，只有DN上执行的算子会显示。某些场景会在估算的内存使用量后使用括号显示该算子在内存资源充足下可以自动扩展的内存上限。 A-width 表示当前算子每行元组的实际宽度，仅对于重内存使用算子会显示，包括：(Vec)HashJoin、(Vec)HashAgg、(Vec)HashSetOp、(Vec)Sort、(Vec)Materialize算子等，其中(Vec)HashJoin计算的宽度是其右子树算子的宽度，会显示在其右子树上。 E-width 每个算子输出元组的估算宽度。 E-costs 每个算子估算的执行代价。 E-costs是优化器根据成本参数定义的单位来衡量的，习惯上以磁盘页面抓取为1个单位， 其它开销参数将参照它来设置。 每个节点的开销（E-costs值）包括它的所有子节点的开销。 开销只反映了优化器关心的东西，并没有把结果行传递给客户端的时间考虑进去。虽然这个时间可能在实际的总时间里占据相当重要的分量，但是被优化器忽略了，因为它无法通过修改规划来改变。 SQL Diagnostic Information SQL自诊断信息。优化和执行过程中识别到的性能优化点，当对DML语句进行带VERBOSE属性的EXPLAIN（EXPLAIN PERFORMANCE内置自带VERBOSE属性）时，SQL自诊断信息也会输出，以辅助性能问题定位。 Predicate Information (identified by plan id) 谓词过滤这部分主要显示的是对应执行算子节点的过滤条件，即在整个计划执行过程中不会变的信息，主要是一些join条件和一些filter信息。 Memory Information (identified by plan id) 内存使用信息这部分显示的是整个计划中会将内存的使用情况打印出来的算子的内存使用信息，主要是Hash、Sort算子，包括算子峰值内存（peak memory），优化器预估的内存（estimate memory），控制内存（control memory），估算内存使用（operator memory），执行时实际宽度（width），内存使用自动扩展次数（auto spread num），是否提前下盘（early spilled），以及下盘信息，包括重复下盘次数（spill Time(s)），内外表下盘分区数（inner/outer partition spill num），下盘文件数（temp file num），下盘数据量及最小和最大分区的下盘数据量（written disk IO [min, max] ）。其中sort算子不会显示具体的下盘文件数，仅在显示排序方法时显示Disk。 Targetlist Information (identified by plan id) 这一部分显示的是每一个算子对应的输出目标列信息。 DataNode Information (identified by plan id) 这部分将各个算子的执行时间（若包含过滤及投影也会显示对应的执行时间）、CPU、buffer的使用情况全部打印出来。 算子执行信息 每个算子的执行信息都包含三个部分： dn_6001_6002/dn_6003_6004表示具体执行的节点信息，括号中的信息是实际的执行信息。 actual time表示实际的执行时间，第一个数字表示执行时进入当前算子到输出第一条数据所花费的时间，第二个数字表示输出所有数据的总执行时间。 rows表示当前算子输出数据行数。 loops表示当前算子的执行次数。需要注意，对于分区表来说，每一个分区表的扫描就是一次完整的扫描操作，当切换到下一个分区的时候，又是一次新的扫描操作。 CPU信息 每个算子执行的过程都有CPU信息，其中cyc代表的是CPU的周期数，ex cyc表示的是当前算子的周期数，不包含其子节点；inc cyc是包含子节点的周期数；ex row是当前算子输出的数据行数；ex c/r则是ex cyc/ex row得到的每条数据所用的平均周期数。 Buffer信息 buffers显示缓冲区信息，包括共享块和临时块的读和写。 共享块包含表和索引，临时块在排序和物化中使用的磁盘块。上层节点显示出来的块数据包含了其所有子节点使用的块数。 User Define Profiling 自定义信息，这一部分显示的是CN和DN、DN和DN建连的时间，以及存储层的一些执行信息。 Query Summary 这一部分主要打印总的执行时间和网络流量，包括了各个DN上初始化和结束阶段的最大最小执行时间、CN上的初始化、执行、结束阶段的时间，以及当前语句执行时系统可用内存、语句估算内存等信息。 DataNode executor start time：DN执行器开始时间，[min_node_name, max_node_name] : [min_time, max_time] DataNode executor run time：DN执行器运行时间，[min_node_name, max_node_name] : [min_time, max_time] DataNode executor end time：DN执行器结束时间，[min_node_name, max_node_name] : [min_time, max_time] Remote query poll time：接收结果时用于poll等待的时间 System available mem：系统可用内存 Query Max mem：查询最大内存 Enqueue time：入队时间 Coordinator executor start time：CN执行器开始时间 Coordinator executor run time：CN执行器运行时间 Coordinator executor end time：CN执行器结束时间 Parser runtime：解析器运行时间 Planner runtime：优化器执行时间 网络流量，stream算子发送的数据量 Query Id：查询ID Unique SQL ID：约束SQL ID Total runtime：总执行时间 A-rows和E-rows的差异体现了优化器估算和实际执行的偏差度。一般情况下两者偏差越大，则可以认为优化器生成的计划的越不可信，人工干预调优的必要性越大。 A-time中的两个值偏差越大，表明此算子的计算偏斜(在不同DN上执行时间差异)越大，人工干预调优的必要性越大。一般来说，两个相邻的算子，上层算子的执行时间包含下层算子的执行时间，但如果上层算子为stream算子，由于各线程不存在驱动关系，上层算子执行时间可能小于下层算子的执行时间，即不存在包含关系。 Max Query Peak Memory经常用来估算SQL语句耗费内存，也被用来作为SQL语句调优时运行态内存参数设置的重要依据。一般会以EXPLAIN ANALYZE或EXPLAIN PERFORMANCE的输出作为进一步调优的输入。

执行计划显示格式 GaussDB(DWS)对执行计划提供了normal、pretty、summary、run四种显示格式。通过设置GUC参数explain_perf_mode，可以显示不同格式的执行计划。 normal：代表使用默认的打印格式。图1中即为此显示格式。 图1 normal格式执行计划示例 pretty：代表使用GaussDB(DWS)改进后的新显示格式。新的格式层次清晰，计划包含了plan node id，性能分析简单直接。如图2。 图2 pretty格式执行计划示例 summary：是在pretty的基础上增加了对打印信息的分析。 run：在summary的基础上，将统计的信息输出到csv格式的文件中，以便于进一步分析。

执行计划显示信息 除了设置不同的执行计划显示格式外，还可以通过不同的EXPLAIN用法，显示不同详细程度的执行计划信息。常见有如下几种，关于更多用法请参见EXPLAIN语法说明。 EXPLAIN statement： 只生成执行计划，不实际执行。其中statement代表SQL语句。 EXPLAIN ANALYZE statement：生成执行计划，进行执行，并显示执行的概要信息。显示中加入了实际的运行时间统计，包括在每个规划节点内部花掉的总时间(以毫秒计)和它实际返回的行数。 EXPLAIN PERFORMANCE statement：生成执行计划，进行执行，并显示执行期间的全部信息。 为了测量运行时在执行计划中每个节点的开销，EXPLAIN ANALYZE或EXPLAIN PERFORMANCE会在当前查询执行上增加性能分析的开销。在一个查询上运行EXPLAIN ANALYZE或EXPLAIN PERFORMANCE有时会比普通查询明显地花费更多的时间。超支的数量依赖于查询的本质和使用的平台。 因此，当定位SQL运行慢问题时，如果SQL长时间运行未结束，建议通过EXPLAIN命令查看执行计划，进行初步定位。如果SQL可以运行出来，则推荐使用EXPLAIN ANALYZE或EXPLAIN PERFORMANCE查看执行计划及其实际的运行信息，以便更精准地定位问题原因。 执行计划中的常见关键字说明： 表访问方式 Seq Scan/ CS tore Scan 全表顺序扫描。最基本的扫描算子，用于行/列存表的顺序扫描。 Index Scan/CStore Index Scan 行/列存表的索引扫描。行/列存表上存在索引，条件列为索引列。 优化器决定使用两步的规划：最底层的规划节点访问一个索引，找出匹配索引条件的行的位置，然后上层规划节点真实地从表中抓取出对应行。独立地抓取数据行比顺序地读取数据的开销高很多，但是因为并非所有表的页面都被访问了，这么做实际上仍然比一次顺序扫描开销要少。使用两层规划的原因是，上层规划节点在读取索引标识出来的行位置之前，会先将它们按照物理位置排序，这样可以最小化独立抓取的开销。 如果在WHERE里面使用的好几个字段上都有索引，那么优化器可能会使用索引的AND或OR的组合。但是这么做要求访问两个索引，因此与只使用一个索引，而把另外一个条件只当作过滤器相比，这个方法未必是更优。 索引扫描可以分为以下几类，其差异在于索引的排序机制。 Bitmap Index Scan 使用位图索引抓取数据页，需要索引扫描获取位图后再到基表上扫描。 Index Scan using index_name 使用简单索引搜索，该方式表的数据行是以索引顺序抓取的，这样就令读取它们的开销更大，但是这里的行少得可怜，因此对行位置的额外排序并不值得。最常见的就是看到这种规划类型只抓取一行，以及那些要求ORDER BY条件匹配索引顺序的查询。因为那时候没有多余的排序步骤是必要的以满足ORDER BY。 表连接方式 Nested Loop 嵌套循环，适用于被连接的数据子集较小的查询。在嵌套循环中，外表驱动内表，外表返回的每一行都要在内表中检索找到它匹配的行，因此整个查询返回的结果集不能太大（不能大于10000），要把返回子集较小的表作为外表，而且在内表的连接字段上建议要有索引。 (Sonic) Hash Join 哈希连接，适用于数据量大的表的连接方式。优化器使用两个表中较小的表，利用连接键在内存中建立hash表，然后扫描较大的表并探测散列，找到与散列匹配的行。Sonic和非Sonic的Hash Join的区别在于所使用hash表结构不同，不影响执行的结果集。 Merge Join 归并连接或融合连接，是先将关联表的关联列各自做排序，然后从各自的排序表中抽取数据，到另一个排序表中做匹配。 因为Merge join需要做更多的排序，所以消耗的资源更多，因此通常情况下执行性能差于Hash Join。 如果源数据已经被排序过，在执行融合连接时，并不需要再排序，此时Merge Join的性能优于Hash Join。 运算符 sort 对结果集进行排序。 filter EXPLAIN输出显示WHERE子句当作一个"filter"条件附属于顺序扫描计划节点。这意味着规划节点为它扫描的每一行检查该条件，并且只输出符合条件的行。预计的输出行数降低了，因为有WHERE子句。不过，扫描仍将必须访问所有 10000 行，因此开销没有降低；实际上它还增加了一些（确切的说，通过10000 * cpu_operator_cost）以反映检查WHERE条件的额外CPU时间。 LIMIT LIMIT限定了执行结果的输出记录数。如果增加了LIMIT，那么不是所有的行都会被检索到。

应用示例 查询名为serial1的数据库对象sequence和哪个表有依赖关系。 先通过系统表PG_CLASS查询序列名为serial1的oid。 1 2 3 4 5 SELECT oid FROM pg_class WHERE relname ='serial1'; oid ------- 17815 (1 row) 使用系统表PG_DEPEND根据所查询的序列serial1的oid获取依赖该序列的对象。 1 2 3 4 5 6 SELECT * FROM pg_depend WHERE objid ='17815'; classid | objid | objsubid | refclassid | refobjid | refobjsubid | deptype ---------+-------+----------+------------+----------+-------------+--------- 1259 | 17815 | 0 | 2615 | 2200 | 0 | n 1259 | 17815 | 0 | 1259 | 17812 | 1 | a (2 rows) 根据字段refobjid获取依赖该序列serial1的表的OID，并查询到表名。其结果表示，序列serial1依赖于表customer_address。 1 2 3 4 5 SELECT relname FROM pg_class where oid='17812'; relname ------------------ customer_address (1 row)

backtrace_min_messages 参数说明：控制当产生该设置参数级别相等或更高级别的信息时，会打印函数的堆栈信息到服务器日志文件中。 参数类型：SUSET 该参数作为客户现场问题定位手段使用，且由于频繁的打印函数栈会对系统的开销及稳定性有一定的影响，因此如果需要进行问题定位时，建议避免将backtrace_min_messages的值设置为fatal及panic以外的级别。 取值范围：枚举类型 有效值有debug5、debug4、debug3、debug2、debug1、info、log、notice、warning、error、fatal、panic。参数的详细信息请参见表1。 默认值：panic

profile_logging_module 参数说明：用于设置记录性能日志的类型，使用该参数时需确保plog_merge_age参数值非0。该参数属于会话级参数，不建议通过gs_guc工具来设置。仅8.1.3及以上集群版本支持。 参数类型：USERSET 取值范围：字符串 默认值：默认打开OBS、HADOOP、REMOTE_DATANODE，关闭MD。可由SHOW profile_logging_module查看。 设置方法：首先，可以通过SHOW profile_logging_module来查看哪些模块是支持可控制的。例如，查询输出结果为： 1 2 3 4 show profile_logging_module; profile_logging_module -------------------------------------------- ALL,on(OBS,HADOOP,REMOTE_DATANODE),off(MD)(1 row) 打开MD性能日志，并查看设置结果。其中ALL标识是相当于一个快捷操作，即对所有模块的日志可输出进行开启或关闭。 1 2 3 4 5 6 7 set profile_logging_module='on(md)'; SET show profile_logging_module; profile_logging_module --------------------------------------------- ALL,on(MD,OBS,HADOOP,REMOTE_DATANODE),off()(1 row)

client_min_messages 参数说明：控制发送到客户端的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低，发送给客户端的消息就越少。 参数类型：USERSET 当client_min_messages和log_min_messages取相同值时，其值所代表的级别不同。 取值范围：枚举类型，有效值有debug5、debug4、debug3、debug2、debug1、info、log、notice、warning、error。参数的详细信息请参见表1。 默认值：notice

log_min_error_statement 参数说明：控制在服务器日志中记录错误的SQL语句。 参数类型：SUSET 取值范围：枚举类型，有效值有debug5、debug4、debug3、debug2、debug1、info、log、notice、warning、error、fatal、panic。参数的详细信息请参见表1。 设置为error ，表示导致错误、日志消息、致命错误、panic的语句都将被记录。 设置为panic，表示关闭此特性。 默认值：error

log_min_duration_statement 参数说明：当某条语句的持续时间大于或者等于特定的毫秒数时，log_min_duration_statement参数用于控制记录每条完成语句的持续时间。 设置log_min_duration_statement可以很方便地跟踪需要优化的查询语句。对于使用扩展查询协议的客户端，语法分析、绑定、执行每一步所花时间被独立记录。 参数类型：SUSET 当此选项与log_statement同时使用时，已经被log_statement记录的语句文本不会被重复记录。在没有使用syslog情况下，推荐使用log_line_prefix记录PID或会话ID，方便将当前语句消息连接到最后的持续时间消息。 取值范围：整型，-1 ~ INT_MAX，单位为毫秒。 设置为250，所有运行时间不短于250ms的SQL语句都会被记录。 设置为0，输出所有语句的持续时间。 设置为-1，关闭此功能。 默认值：30min

log_min_messages 参数说明：控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低，服务器运行日志中记录的消息就越少。 参数类型：SUSET 当client_min_messages和log_min_messages取相同值log时所代表的消息级别不同。 取值范围：枚举类型，有效值有debug5、debug4、debug3、debug2、debug1、info、log、notice、warning、error、fatal、panic。参数的详细信息请参见表1。 默认值：warning

数据订阅格式说明 AOM 格式的指标JSON格式代码片断 package metric type MetricDatas struct { Metrics []Metrics `json:"metrics"` ProjectId string `json:"project_id"` } type Metrics struct { Metric Metric `json:"metric"` Values []Value `json:"values"` CollectTime int64 `json:"collect_time"` } type Metric struct { Namespace string `json:"namespace"` Dimensions []Dimension `json:"dimensions"` } type Value struct { Value interface{} `json:"value"` Type string `json:"type"` Unit string `json:"unit"` StatisticValues string `json:"statisticvalues"` MetricName string `json:"metric_name"` } type Dimension struct { Name string `json:"name"` Value string `json:"value"` } kafka消息示例 key:, value:{"metrics":[{"metric":{"namespace":"PAAS.NODE","dimensions":[{"name":"nodeName","value":"test-vss-cop-master-1"},{"name":"nodeIP","value":"1.1.1.1"},{"name":"hostID","value":"75d97111-4734-4c6c-ae9e-f6111111111"},{"name":"nameSpace","value":"default"},{"name":"clusterId","value":"46a7bc0d-1d8b-11ea-9b04-333333333333333"},{"name":"clusterName","value":"test-vss-111"},{"name":"diskDevice","value":"vda"},{"name":"master","value":"true"}]},"values":[{"value":0,"type":"","unit":"Kilobytes/Second","statisticvalues":"","metric_name":"diskReadRate"},{"value":30.267,"type":"","unit":"Kilobytes/Second","statisticvalues":"","metric_name":"diskWriteRate"}],"collect_time":1597821030037}],"project_id":"111111111111111111111"} 告警数据格式说明 示例： { "events": [{ "id": "4346299651651991683", "starts_at": 1597822250194, "ends_at": 0, "arrives_at": 1597822250194, "timeout": 300000, "resource_group_id": "312313123112222222222232131312131", "metadata": { "kind": "Pod", "event_severity": "Major", "resource_type": "service", "clusterId": "6add4ef5-1358-11ea-a5bf-111111111", "event_type": "alarm", "clusterName": "cce-ief-4516140c-96ca-4a5f-8d85-1111111", "namespace": "PAAS.NODE", "name": "test15769793809553052-f5557bd7f-qnfkm", "event_name": "调度失败##FailedScheduling", "resource_id": "clusterName=cce-ief-4516140c-96ca-4a5f-8d85-111111;clusterID=6add4ef5-1358-11ea-a5bf-11111111111;kind=Pod;namespace=30d5758f166947c6b164af604a654b09;name=test15769793809553052-f5557bd7f-qnfkm;uid=589fc746-245d-11ea-a465-fa163e5fc15d", "nameSpace": "30d5758f166947c6b164af604a654b09", "resource_provider": "CCE", "nodeID": "589fc746-245d-11ea-a465-fa163e5fc15d" }, "annotations": { "alarm_probableCause_zh_cn": "FailedScheduling", "alarm_probableCause_en_us": "FailedScheduling", "message": "0/110 nodes are available: 1 node(s) had taints that the pod didn't tolerate, 109 node(s) didn't match node selector." }, "attach_rule": { } }], "project_id": "312313123112222222222232131312131" } 参数说明： 表4 告警参数 参数 参数类型 描述 events Array ofobjects，详见 表5。 事件或者告警详情。 project_id String 租户从 IAM 申请到的projectid，一般为32位字符串。 表5 EventModel 参数 参数类型 描述 id String 事件或者告警id，系统自动生成。 starts_at Long 事件或者告警产生的时间，CST毫秒级时间戳。 ends_at Long 事件或者告警清除的时间，CST毫秒级时间戳，为0时表示未删除。 arrives_at Long 事件或者告警到达AOM的时间，CST毫秒级时间戳。 timeout Long 告警自动清除时间。毫秒数，例如一分钟则填写为60000。默认清除时间为3天。 resource_group_id String 资源组预留字段，当前默认和projectid的值一样。 metadata Object 事件或者告警的详细信息，为键值对形式。必须字段为： event_name：事件或者告警名称,类型为String； event_severity：事件级别枚举值。类型为String，四种类型 "Critical", "Major", "Minor", "Info"； event_type：事件类别枚举值。类型为String，event为普通告警，alarm为告警事件； resource_provider：事件对应云服务名称。类型为String； resource_type：事件对应资源类型。类型为String； resource_id：事件对应资源信息。类型为String。 annotations Object 事件或者告警附加字段，可以为空。 attach_rule Object 事件或者告警预留字段，为空。

操作场景 管理员购买 云桌面 后，云桌面默认在VPC子网内，此时云桌面无法访问互联网。管理员需要通过配置NAT网关共享弹性公网IP的方式，使云桌面能够访问互联网。可通过云桌面中的快捷入口开通互联网，也可以自行进入NAT、EIP控制台中购买对应服务。 此章节介绍如何进入NAT、EIP页面购买对应服务，使云桌面能够访问互联网。管理员也可以参考配置云桌面可访问互联网节通过云桌面提供的购买NAT和EIP快捷入口的方式开通互联网。

前提条件 已获得需要访问互联网的桌面所在区域、项目、使用的VPC和子网信息。 管理员已具有NAT服务和EIP服务的操作权限。 自主注册的华为账号默认拥有华为云所有服务的操作权限，如果您使用的是此类账号，无需再进行确认。 华为账号下新建的IAM账号，需要加入“admin”内置用户组，或者拥有NAT服务和EIP服务操作权限的用户组，才可使用NAT服务和EIP服务。可进入“ 统一身份认证 服务”中查看是否属于“admin”内置用户组。如果非“admin”内置用户组，请参见NAT服务授权、EIP服务授权赋予IAM账号使用NAT服务和EIP服务的权限。

处理方法 登录GaussDB(DWS) 管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面，切换至“智能运维”页签。 在运维详情部分切换至运维计划模块。单击“添加运维任务”按钮。 弹出添加运维任务边栏， 运维任务选择“Vacuum”。 调度模式选择“自动”，DWS将自动扫描Vacuum目标。 Vacuum目标选择系统表或用户表： 如果用户业务UPDATE、DELETE较多，选择用户表。 如果创建表、删除表较多，选择系统表。 单击“下一步：定时配置”，配置Vacuum类型，推荐选择“周期型任务”，GaussDB(DWS)将自动在自定义时间窗内执行Vacuum。 对于自动Vacuum运维任务，系统对于用户表的处理方法实际采用的是VACUUM FULL操作。VACUUM FULL执行过程中，本身持有8级锁，会阻塞其他业务，导致锁冲突产生，业务本身会陷入锁等待，20分钟后超时报错。因此，在用户配置时间窗内，应尽量避开执行所有处理表的相关业务。 确认无误后，单击“下一步：配置确认”，完成配置。

问题现象 向表中插入数据报错：null value in column '%s' violates not-null constraint，此处s%指报错的列（字段）名。 1 2 3 4 CREATE TABLE t1(a int, b int not null); INSERT INTO t1 VALUES (1); ERROR: dn_6001_6002: null value in column "b" violates not-null constraint

解决方案 针对上述案例，有两种解决方案： 方案一：使用ALTER TABLE删除字段b的非空（not null）约束 1 2 3 4 5 ALTER TABLE t1 ALTER COLUMN b DROP NOT NULL; ALTER TABLE INSERT INTO t1 VALUES (1); INSERT 0 1 方案二：保持字段b的非空（not null）约束，字段b不再插入空值 在实际业务中，可根据实际情况选择解决方案。

原因分析 两个不同的事务对同一个表中的同一行数据进行并发更新/操作，导致后操作的事务发生了回滚。 举例说明： 打开一个连接Session A，使用普通用户u1连接GaussDB(DWS)数据库，在u1的同名SCHEMA u1下创建测试表u1.test，并插入数据。 1 2 CREATE TABLE test (id int, name varchar(50)); INSERT INTO test VALUES (1, 'lily'); 打开一个新的连接会话Session B，使用系统管理员dbadmin连接GaussDB(DWS)数据库，开启事务1，执行UPDATE操作，UPDATE语句执行成功。 1 2 3 4 START TRANSACTION; UPDATE u1.test SET id = 3 WHERE name = 'lily'; UPDATE 1 在会话Session A中开启事务2，执行相同的UPDATE语句，执行报错。 1 2 3 4 START TRANSACTION; UPDATE test SET id = 3 WHERE name = 'lily'; ERROR: dn_6003_6004: abort transaction due to concurrent update test 289502. 针对上述案例，两个不同的事务并发更新了同一条记录，而并发更新同一条记录发生冲突不会等待锁，直接报错：abort transaction due to concurrent update。 在实际业务中，并不是只有并发UPDATE同一条记录会报错，select、delete等其他SQL并发操作，也有可能报错：abort transaction due to concurrent update。

在modifyJdbcCall和createParameterizedQuery阶段耗时 问题分析：如果主要耗时在modifyJdbcCall阶段（校验传入的SQL是否符合规范）和createParameterizedQuery阶段（将传入的SQL解析为preparedQuery，以获取由simplequery组成的subqueries），则需要确认是否传入的SQL过长导致。 处理方法：JDBC本身没办法优化这部分耗时，可在应用端查看是否可优化传入的SQL语句，详情可参见SQL语句改写规则。

使用JDBC执行create table as语句报错 ERROR: relation "xx" already exists 问题分析：JDBC调用preparedStatement.getParameterMetaData()时会发送P报文，该报文会在数据库中创建表，导致execute执行时报表已存在。 处理方法：使用preparedStatement时，建议将CREATE TABLE AS拆开执行或者使用resultSet.getMetaData()。

调用存储过程报错 ERROR: cached plan must not change result type 问题分析：由于JDBC中使用了PreparedStatement，默认重复执行5次就会缓存plan，在此之后有如果重建表操作（例如修改表定义），再次执行就会报错ERROR: cached plan must not change result type. 处理方法：在JDBC连接字串中指定prepareThreshold=0，不再cache plan。例如： 1 String url = "jdbc:postgresql:// 192.168.0.10:2000/postgres?prepareThreshold=0";

Broken pipe, connection reset by peer 问题分析：网络故障，数据库连接超时。 处理方法：检查网络状态，修复网络故障，影响数据库连接超时的因素。例如，数据库参数session_timeout。 登录控制台单击指定集群名称。 在左侧导航栏选择“参数修改”，搜索参数“session_timeout”查看超时时间参数。 将session_timeout的CN、DN参数值设置为0，详情可参见修改数据库参数。

在CopyManager场景使用连接池获取连接，Connection无法转换为BaseConnection 问题分析：BaseConnection为非公开类，需要对连接池对象解封装然后获取原始PGConnection。 处理方法： 对当前对象解包装，返回原始对象以允许访问未公开方法。 1 2 3 4 5 //解封装 PGConnection unwrap = connection.unwrap(PGConnection.class); //转换BaseConnection BaseConnection baseConnection = (BaseConnection)unwrap; CopyManager copyManager = new CopyManager(baseConnection);

No suitable driver found for XXXX 问题分析：通过JDBC建连时URL格式错误。 处理方法：将URL格式修改为正确的格式。 gsjdbc4.jar对应URL格式为： jdbc:postgresql://host:port/database 在使用pom依赖时对应8.1.x版本 gsjdbc200.jar对应URL格式为：jdbc:gaussdb://host:port/database 在使用pom依赖时对应8.1.x-200版本

Connections could not be acquired from the underlying database! 问题分析：按照新建连接排查项进行排查： 驱动配置是否有误。 数据库连接地址是否有误。 密码或账号是否有误。 数据库未启动或无权访问。 项目未引入对应的驱动jar包。 处理方法： 排查驱动配置，将其修改为正确的驱动配置。 gsjdbc4.jar driver=org.postgresql.Driver gsjdbc200.jar driver=com.huawei.gauss200.jdbc.Driver 排查数据库连接地址，将其修改为正确的数据库连接地址。 gsjdbc4.jar对应jdbc:postgresql://host:port/database gsjdbc200.jar对应jdbc:gaussdb://host:port/database 排查用户名密码是否为数据库用户名或密码，将其修改为正确的数据库用户名或密码。 排查数据库是否启动或有权限访问。 检查使用的JDBC驱动是gsjdbc4.jar还是gsjdbc200.jar，请使用正确JDBC驱动jar包。 gsjdbc4.jar：与PostgreSQL保持兼容，其中类名、类结构与PostgreSQL驱动完全一致，曾经运行于PostgreSQL的应用程序可以直接移植到当前系统中使用。 gsjdbc200.jar：如果同一JVM进程内需要同时访问PostgreSQL及GaussDB(DWS) 请使用该驱动包。该包主类名为“com.huawei.gauss200.jdbc.Driver”（即将“org.postgresql”替换为“com.huawei.gauss200.jdbc”），数据库连接的URL前缀为“jdbc:gaussdb”，其余与gsjdbc4.jar相同。