华为云用户手册

系统函数 表6 系统函数 变更类型 序号 名称 变更描述 新增 1 pg_stat_get_runtime_relstats 新增函数，开启动态采样后autoanalyze生成的表级统计信息存放于内存中，该函数用于查询。 2 pg_stat_get_runtime_attstats 新增函数，开启动态采样后autoanalyze生成的列级统计信息存放于内存中，该函数用于查询。 3 pg_stat_set_last_data_changed_num 新增手动设置表历史累计修改量接口，用于pgstat内容丢失的补救措施 4 strcmp() 字符串比较，相等返回0，小于返回-1，其他返回1，入参含null返回null 5 hex() 入参字符串的每个字符或十进制整数转化为十六进制数字。 6 unhex() 执行从HEX(str)的反向操作。就是说，它将参数中的每一对十六进制数字理解为一个数字，并将其转化为该数字代表的字符。结果字符以bytea的形式返回。 7 space(n) 返回n个空格构成的字符串 8 rand() 获取0.0 到 1.0 之间的随机数。 9 truncate(x,d) 将x截断为d位小数。d为负数时截断整数位为0。 10 addtime(expr1,expr2) 增加时间。expr1是time或timestamp类型，expr2是interval类型。 11 subtime(expr1,expr2) 特定时间减去指定的时间。expr1 - expr2 expr1为time、timestamp类型。expr2为interval类型，返回类型同expr1。 12 timediff(expr1,expr2) 计算两个参数的时间差。expr1 - expr2，返回time类型， 入参需同为time类型或timestamp类型。 13 curdate() 返回当前日期，date类型。 14 curtime([fsp]) 返回当前时间，time类型 fsp-它指定返回的小数秒精度。 15 uuid() 返回通用唯一标识符(UUID)。 16 convert_tz() 进行时区转换。 17 cast(expr,typename) 将expr转换为指定type。 18 digest() digest()函数可以根据不同的算法生成数据的二进制哈希值。 19 hmac() hmac()函数可以根据不同的算法为带有密钥的数据计算出MAC值。 20 crypt()和gen_salt() crypt()和gen_salt()函数专用于哈希密码。crypt()执行哈希用于加密数据，gen_salt()用于生成加盐哈希。 21 pgp_sym_encrypt() 用于对称密钥加密。 22 pgp_sym_decrypt() 用于解密PGP对称密钥加密后的消息。 23 pgp_pub_encrypt() 用于公共密钥加密。 24 pgp_pub_decrypt() 用于解密PGP公共密钥加密后的消息。 25 pgp_key_id() 用于提取PGP公钥或者私钥的密钥ID；如果传入一个加密后的消息，将会返回加密该消息使用的密钥ID。 26 armor() 用于将二进制数据转换为PGP ASCII-armor格式，相当于Base64加上CRC以及额外的格式化。 27 dearmor() 用于执行与armor()函数相反的转换。 28 pgp_armor_headers() 函数用于返回数据中的armor header。 29 encrypt 原始加密函数，不支持PGP加密的任何高级功能。IV是0。 30 decrypt 原始解密函数，不支持PGP加密的任何高级功能。IV是0。 31 encrypt_iv 原始解密函数，不支持PGP加密的任何高级功能。IV可由用户设定。 32 decrypt_iv 原始解密函数，不支持PGP加密的任何高级功能。IV可由用户设定。 33 gen_random_bytes gen_random_bytes()函数用于生成具有强加密性的随机字节。 34 gen_random_uuid() gen_random_uuid()函数用于返回一个version 4的随机UUID。 35 get_volatile_pg_class 获取内存中volatile临时表的pg_class相关元数据(volatile临时表元数据不存储系统表)。 36 get_volatile_pg_attribute 获取内存中volatile临时表的pg_attribute相关元数据。 37 gs_increase_except_num 新增函数，用于增加查询异常触发次数。 38 gs_update_blocklist_hash_info 新增函数用于更新内存中黑名单信息。 39 gs_append_blocklist 新增函数用于新增黑名单语句。 40 gs_remove_blocklist 新增函数用于将语句移出黑名单。 41 gs_wlm_rebuild_except_rule_hash 新增gs_wlm_rebuild_except_rule_hash函数用于主动触发build异常规则内核hash表。 42 pg_stat_wal_write 用于查询当前cn或dn上的线程信息，以及wal和数据页导入量及速率。 43 pgxc_stat_wal_write 用于查询cn与dn交互的线程信息，以及wal和数据页导入量及速率。 44 get_col_file_info 获取指定列存表的空CU文件数和总CU文件数。 45 get_all_col_file_info 获取所有列存表的空CU文件数和总CU文件数。 46 col_rebuild_file_relation 更换Relfilenode，重新整理指定列存表的CU文件，重整后变回连续的1GB文件。 修改 47 pg_query_audit/pgxc_query_audit 修改thread_id字段为session id字段，记录语句执行所在的session。 48 login_audit_messages/login_audit_messages_pid 新增session id字段，记录语句执行所在的session。

行为变更 表2 行为变更 变更类型 序号 名称 变更描述 新增 1 支持windowagg生成value partition执行计划 窗口函数出现在语句的最外层，如果没有加order by，基线行为数据会是有序的，8.2.0版本默认开启enable_value_redistribute以后，数据会变成无序的，需要指定order by子句才能保证有序。 修改 2 异常规则配置方式变更，由工具变更为语法配置 异常规则原来由gs_cgroup对其对应的控制组做配置，8.2.0更改为CREATE/ALTER/DROP EXCEPT RULE语法配置，新版本使用gs_cgroup配置时会给出相应提示。 3 异常规则内部去除qualificationtime，以elapsedtime取代 qualificationtime在旧版本作为一个规则，但是只能与cpuskewpercent合并使用，效果和elapsedtime相同。因此去除该配置项，直接配置elapsedtime即可。 4 tid字段名 行存支持tid字段名，原行存不支持tid字段名。 5 max_process_memory CN调整为DN的一半。

SQL语法 表3 SQL语法 变更类型 序号 名称 变更描述 新增 1 表属性参数analyze_mode 新增表级analyze模式的控制参数(该表支持哪种analyze)，不设置时与前向无变化。 2 禁用子查询提升hint 增加禁用子查询提升hint，支持形式：no_merge当前查询，no_merge(relid)指定对象。 3 hint在DML语句中生效 增加支持hint在insert/update/merge/delete语句中生效。 4 agg重分布hint增加支持指定列名 agg重分布hint增加支持指定列名，形式为/+ redistribute ((*) (a b c d)) */。 5 agg重分布hint增加支持指定count(distinct)列 agg重分布hint支持指定count(distinct)列在双层hashagg场景下生效。 6 invisible 新增索引OPTIONS，用于设置索引扫描在执行计划中是否可见。 7 支持MySQL中的反引号 支持使用反引号区分普通字符和特殊字符。 8 创建表时，列定义支持指定on update属性 列定义指定on update属性时，当数据有更新时，自动填充更新时间戳。 9 CREATE/ALTER/DROP EXCEPT RULE 新增语法用于新增、创建、删除内核异常规则。 10 CREATE SERVER增加OPTIONS security_token 新增OPTIONS security_token用于传递securitytoken用于临时AK，SK访问OBS。 11 CREATE FOREIGN TABLE增加OPTIONS security_token 新增OPTIONS security_token用于传递securitytoken用于临时AK，SK访问OBS。 12 OBS外表（dist_fdw）option参数新增file_split_ threshold选项 OBS外表（dist_fdw）option参数新增file_split_ threshold选项。 13 GDS外表新增gds_compress参数 基于GDS管道文件导入导出，用于GDS互联互通时候数据在DN和GDS之间压缩传输，目前仅支持snappy压缩算法普通文件的导入导出不支持该参数。 14 GDS外表新增dataencoding参数 用于表示latin1数据库中保存的数据的字符集。 15 gc_fdw互联互通外表(sql on other gaussdb外表)新增gds_compress参数 用于GDS外表互联互通时候数据在DN和GDS之间压缩传输，目前仅支持snappy压缩算法。 16 gc_fdw互联互通外表(sql on other gaussdb)新增dataencoding参数 用于表示执行端laint1数据库中保存的数据的字符集。 修改 17 CREATE/ALTER REDACTION POLICY 表级参数deltarow_threshold的默认值设置为10000，指定列存表导入时小于多少行的数据进入delta表，只在表级参数enable_delta开启时生效。 18 资源池关联异常规则语法变更 新增INHERIT选项，说明策略是否继承自其他策略。 19 single_node支持obs外表语法 资源池旧版本可用于配置内存异常规则，8.2.0统一异常规则接口为 CREATE/ALTER RESOURCE POOL 'pool' with (EXCEPT_RULE='rule1,2'); 20 OBS外表（dist_fdw）支持使用server指定AK、SK single_node支持obs外表（dfs_fdw）。

行为变更 表7 行为变更 变更类型 序号 名称 变更描述 新增 1 分区视图依赖变化 8.2.1以前版本，没有对select partition()或者partition for()语句的视图建立视图依赖，造成查询报错。 8.2.1版本后新增分区oid依赖，对于drop分区或者修改分区范围值在视图解耦场景下引发视图重建，非视图依赖场景下会报错。 修改 2 增加GTM上gtm_max_trans参数取值上限。 先将线程最大限制调大，可以给现网一个逃生通道，解决某些局点集群规模大，业务并发高，可能存在达到线程上限进而无法连接的问题。 3 max_process_memory CN调整为DN的一半。 4 Catchup流程 去掉了数据页Catchup的事务锁，Catchup不再和DDL之间有互等关系；增加了LwLock，通过事务提交的LwLock进行Catchup以及DDL业务之间的串行操作，避免Catchup访问到空文件。 5 备DN checkpoint时机 备DN的checkpoint不再等待15min按周期运行，而且redo到checkpoint点后，会强制执行一次checkpoint，避免大数据xlog导入场景下，备DN的Rto过长。 6 备DN文件关闭时机 备DN执行heap_xlog_newpage以及seq_redo时，首页面写入数据后，会强制关闭。 7 indexscan hint可包含indexonlyscan indexscan hint可包含indexscan和indexonlyscan；与indexonlyscan hint同时存在时，indexonlyscan优先生效。 8 大小写表达式不支持roughcheck 大小写表达式不再支持roughcheck，因cu的minmax基于C排序计算，下推会有结果集问题。 9 多count(distinct)重写时，使用CTE进行重写 重写行为发生变化，非share scan场景不影响后续展开过程，share scan场景生成stream CTE的计划。 10 TopSQL子语句监控 TopSQL子语句监控规格从递归打开，变更为仅记录第一层子语句。 11 ArrayLockFreeQueue 无锁队列初始化分配内存不会超过1GB。 12 Explain Explain结果集新增显示unique sql id。 13 Explain Explain+查询语句的unique sql id与查询语句相同。 14 GS/PGXC_WLM_SESSION_STATIS TICS 视图 GS/PGXC_WLM_SESSION_STATISTI CS 视图新增unique sql id字段。 15 GROUP BY后不需体现所有非聚合函数查询字段 8.1.3版本处理时会将非聚合函数查询字段补为min(xx)的形式，8.2.0及以上版本修改为取该列随机值。 8.2.0版本对于多列非聚合函数查询字段取值时取该列非NULL值，会出现结果集不同行场景，8.2.1版本修改为结果集为相同行。 16 alter function owner to superuser 禁止了sysadmin用户修改函数/存储过程的owner到系统用户的场景。保留系统用户change到系统用户的场景。 17 （+）连接顺序变化，会导致带有nvl等表达式的结果集产生变化 （+）连接顺序与Oracle看齐，原（+）连接顺序与join关联顺序相关，改写后带有nvl等相关表达式的关联条件顺序及结果集会有变化。 18 hstore表并发更新同一行会直接报错，不再等待后报错 hstore表并发更新同一行会直接报错，不再等待。 之前的行为是：（1）并发update同一行等待后报错；（2）并发delete同一行等待后成功；（3）并发delete和update同一行等待后报错。修改为统一的行为。 19 Catchup不再拿一级锁 Catchup不再拿一级锁。 20 连续的failover逻辑中，只有首次会进行从DN到备DN的数据同步 连续的failover逻辑中，只有首次会进行从DN到备DN的数据同步。 21 不同session同名临时表执行相同SQL语句时unique sql id一致 8.2.1以前版本不同session同名临时表schema name不同，直接使用后生成的unique sql id就也不同。8.2.1版本修改后不同session同名临时表根据schema name替换固定字符串，保证执行相同SQL语句时unique sql id一致。 22 细粒度容灾支持主集群degraded状态下备份 细粒度容灾在支持主集群degraded状态下备份，例外场景主集群主节点无正常CN导致的degraded不支持。 23 视图解耦 当访问到无效视图时，不触发自动重建动作，即不更新系统表，而是在本地展开

系统视图 表6 系统视图 变更类型 序号 名称 变更描述 新增 1 SHOW_TSC_INFO 用于查看当前节点TSC换算信息。 2 SHOW_ALL_TSC_INFO 用于查看所有节点TSC换算信息。 3 GET_TSC_INFO 用于重新获取一次当前节点的TSC换算信息，仅用于判断是否稳定，不更新内存信息。 4 GET_ALL_TSC_INFO 用于重新获取一次所有节点的TSC换算信息，仅用于判断是否稳定，不更新内存信息。 5 PGXC_WLM_TABLE_DISTRIBUTION_SKEWNESS 用于展示实体表在DN所占磁盘空间倾斜率。 6 PGXC_STAT_OBJECT 查询全集群所有节点的pg_stat_object信息。 7 PG_GLOBAL_TEMP_ATTACHED_PIDS 查看全局临时表在当前节点占有资源的会话信息。 8 PGXC_GLOBAL_TEMP_ATTACHED_PIDS 查看全局临时表在所有节点占有资源的会话信息。 9 PG_STATS_EXT_EXPRS 用于查询保存在系统表pg_statistic_data中的表达式统计信息数据。 10 PV_RUNTIME_EXPRSTATS 基于pg_stat_get_runtime_exprstats函数建立，用于查询动态采样生成的表达式统计信息。 11 PG_PLAN_BASELINE 新增系统视图，保存sql和plan之间的绑定关系。 12 PG_STAT_OBJECT_EXT 新增系统视图，通过在pgxc_parallel_query内层为视图添加查询条件，从而加速返回pgxc_stat_object相应查询条件返回的结果。 修改 13 GS_WLM_SESSION_STATISTICS 新增列stmt_type标识语句类型。 14 PGXC_WLM_SESSION_STATISTICS 新增列stmt_type标识语句类型。 15 GS_WLM_SESSION_HISTORY 新增列stmt_type标识语句类型。 16 GS_WLM_SESSION_INFO 新增列stmt_type标识语句类型。 17 PGXC_WLM_SESSION_HISTORY 新增列stmt_type标识语句类型。 18 PGXC_WLM_SESSION_INFO 新增列stmt_type标识语句类型。 19 GS_RESPOOL_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed）。 20 PGXC_RESPOOL_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed）。 21 PG_TOTAL_USER_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed）。 22 PGXC_TOTAL_USER_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed）。 23 PGXC_RESPOOL_RESOURCE_HISTORY 新增网络收发速率监控（send_speed/recv_speed）。 24 PGXC_WLM_USER_RESOURCE_HISTORY 新增网络收发速率监控（send_speed/recv_speed）。 25 GS_WLM_SESSION_STATISTICS/PGXC_WLM_SESSION_STATISTICS 新增except_info显示语句触发的异常规则信息。 26 GS_WLM_SESSION_INFO/PGXC_WLM_SESSION_INFO 新增except_info显示语句触发的异常规则信息。 27 GS_WLM_SESSION_HISTORY/PGXC_WLM_SESSION_HISTORY 新增except_info显示语句触发的异常规则信息。 28 REDACTION_COLUMNS redaction_columns修改视图定义，新增字段policy_name。 29 PG_STATS PG_STATS视图中增加partname来表示分区。 30 PV_RUNTIME_A TTS TATS pg_catalog.pv_runtime_attstats视图中增加partname来表示分区。 31 GS_WLM_OPERATOR_STATISTICS 新增字段：父节点id、执行次数、进度、网络、磁盘读写。 32 PGXC_WLM_OPERATOR_STATISTICS 新增字段：父节点id、执行次数、进度、网络、磁盘读写。 33 PGXC_STAT_OBJECT 跟随pg_stat_object一起更改，预留字段extra1改名为last_autovacuum_csn。

系统函数 表5 系统函数 变更类型 序号 名称 变更描述 新增 1 SHOW_TSC_INFO() 用于查看当前节点TSC换算信息。 2 GET_TSC_INFO() 用于重新获取一次当前节点的TSC换算信息，仅用于判断是否稳定，不更新内存信息。 3 TEST_TSC_INFO(time double, loops int) 用于测试TSC换算时间的准确性，其中时间不得大于60s，循环次数范围值[1,10]。 4 GET_FIRST_VALUE 返回当前列第一行值。 5 READ_GLOBAL_VAR 用于读取例如my.var的全局session级变量。 6 GS_QUERY_PENALTY(query_id) 新增手动降级函数，入参为query_id。 7 CURRENT_TEMP_SCHEMA 显示当前会话的临时schema。 8 GS_WAIT_CURRENT_ACTIVE_DDL_COMPLETE 等待所有线程的guc参数生效。 9 PGXC_WAIT_CURRENT_ACTIVE_DDL_COMPLETE 等待所有线程的guc参数生效。 10 GS_SWITCH_PART_RELFILENODE 用于交换两个指定分区的filenode。 11 REFRESH_HOT_STORAGE(text) 用于将指定冷热表的所有分区数据全部刷到OBS上。返回的数值为执行完该函数后，当前多温表中在DN上冷分区的个数。 12 REFRESH_HOT_STORAGE(text，text) 用于将指定冷热表的分区数据刷到OBS上。返回的数值为执行完该函数后，当前该分区在DN上冷分区的个数。 13 PG_QUERY_AUDIT_DETAILS 通过调用pgxc_query_audit或pg_query_audit来解析object_details、object_name字段。 14 PGXC_HSTORE_DELTA_INFO 提供系统函数pgxc_hstore_delta_info('relname')， 从CN上查询HStore表的Delta表上各种类型记录的数量、表的大小等信息，用于辅助定位问题。 15 COPY_PARTITION_STATS 将一个表的分区统计信息复制给另外一个不存在统计信息的分区。 16 UPDATE_PARTITION_RELSTATS 更新分区表的统计信息relpages和reltuples。 17 PG_GET_STAT_EXPRESSIONS 用于获取创建的表达式统计信息中表达式的文本表示形式。 18 GS_HSTORE_COMPACTION 手动触发hstore表的compaction，不受autovacuum_compaction_rows_limit控制，第一个参数传入表名，第二个参数设置小CU行数的阈值，第二个参数不设置则默认100。 19 PG_SCAN_RESIDUALFILES 新增残留文件扫描系统函数。 20 PG_GET_SCAN_RESIDUALFILES 新增获取已扫描的残留文件列表系统函数。 21 PGXC_LOCK_WAIT_STATUS() 集群锁等待关系查询。 22 PG_CANCEL_BACKEND（pid, msg） 中断pid会话时支持传入指定消息作为报错信息提示。 23 PG_GET_STATISTICSOBJDEF 新增pg_get_statisticsobjdef函数来获取表达式统计信息的创建语句。 24 PG_STAT_GET_ALL 输入namespace.relname，返回当前CN哈希表中pg_stat_object中该表对应的tuple。 25 PGXC_STAT_GET_ALL 输入namespace和relname，返回所有CN上哈希表中pg_stat_object中该表对应的tuple。 26 PGXC_STAT_OBJECT_BYNAME 新增系统函数，通过输入namespace.relname，加速返回pgxc_stat_object相应relname限定的记录。 27 PG_DUMP_PLANMGMT_INFO 实时刷入待保存计划，便于下一步处理bind、unbind、drop等操作。 28 PG_FOREIGN_INSERT_COMMIT 用于对extrenal schema表对象执行insert时CN给DN下发rename计划。 29 PG_SYSTEM_WITH_TOAST_CREATE 为pg_external_namespace系统表创建toast表。 30 PG_GET_EXTERNAL_SCHEMA_TABLE_OPTIONS 获取external schema表对象的option。 31 PG_GET_EXTERNAL_SCHEMA_TABLE_COL 获取external schema表对象的列元数据。 修改 32 GS_WLM_REBUILD_SCHEMA_HASH(oid) 修改入参从int改为OID。 33 GS_WLM_ALL_USER_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed）。 34 GS_GET_RESPOOL_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed）。 35 GS_WLM_USER_RESOURCE_INFO 新增网络收发速率监控（send_speed/recv_speed），新增入参username。 36 PG_STAT_GET_WLM_REALTIME_SESSION_INFO 新增except_info显示语句触发的异常规则信息。 37 GS_TABLE_DISTRIBUTION 增加字段relpersistence： t：本地临时表 g：全局临时表 u：unlogged表 p：普通表 增加字段sessionid全局临时表的会话线程id。 38 PG_FAST_TABLE_SIZE 增加字段relpersistence： t：本地临时表 g：全局临时表 u：unlogged表 p：普通表 增加字段sessionid全局临时表的会话线程id。 39 PG_LIFECYCLE_TABLE_DATA_DISTRIBUTE 修改函数使得非管理员用户可以使用。 40 PG_QUERY_AUDIT 审计日志中新增object_details、result_rows、error_code列，修改pg_query_audit输出参数，新增输出三列。 41 PGXC_QUERY_AUDIT 审计日志中新增object_details、result_rows、error_code列，修改pgxc_query_audit输出参数，新增输出三列。 42 GET_COL_CU_INFO 新增参数dirty_percent，取值范围1-100，默认值70。 新增返回列dirty_cu_count，返回删除率大于dirty_percent的CU数量。 43 PG_STAT_GET_WLM_REALTIME_OPERATOR_INFO 新增字段：父节点id、执行次数、进度、网络、磁盘读写。 44 PG_STAT_GET_WLM_REALTIME_OPERATOR_INFO 新增入参queryid，查询指定queryid的语句信息。 45 TRUNC(timestamp with time zone)函数修改稳定性类型 该函数之前定义的为immutable，但是根据实际函数的应用场景应该是stable的，修改前在某些条件下会性能差。 46 PG_STAT_GET_WLM_REALTIME_SESSION_INFO 新增列stmt_type字段标识语句类型。 47 PG_STAT_GET_WLM_REALTIME_SESSION_INFO 新增unique_sql_id字段。

系统表 表4 系统表 变更类型 序号 名称 变更描述 新增 1 PG_STAT_OBJECT autovacuum线程记录统计信息和autovacuum效果信息到系统表pg_stat_object中。 2 PG_PLAN_BASELINE 保存sql和plan之间的绑定关系。 3 PG_PROC_REDACT 新增系统表，记录手动不脱敏函数。 修改 4 GS_WLM_SESSION_INFO 新增字段stmt_type标识语句查询类型。 5 GS_RESPOOL_RESOURCE_HISTORY 新增网络收发速率监控（send_speed/recv_speed）。 6 GS_WLM_USER_RESOURCE_HISTORY 新增网络收发速率监控（send_speed/recv_speed）。 7 PG_REDACTION_POLICY 新增policy_order字段，记录同一个表对象关联的脱敏策略的优先级次序，序号越大表示越后创建，优先级更高。 8 PG_REDACTION_COLUMN 新增policy_oid字段，记录当前脱敏列信息对应的是哪个脱敏策略。8.2.1版本后，脱敏策略的脱敏列是一对多的关系，脱敏策略的表对象是多对一关系。 9 PG_STAT_OBJECT 将预留字段extra1改名为last_autovacuum_csn。 10 GS_WLM_SESSION_INFO 增加unique_plan_id、sql_hash、plan_hash、use_plan_baseline字段。

9.1.0.102补丁（2024年9月25日） 该版本为补丁版本，主要修复已知问题。 【升级收编】 支持9.0.3版本升级到9.1.0系列。 【修复已知问题】 存算分离版本支持alter database xxx rename to yyy。 修复存算分离表 \d+ 空间size显示错误问题。 修复备份恢复之后，异步排序未运行的问题。 修复bitmap index列删除后，无法使用Create Table Like语法的问题。 修复Turbo引擎在Group By场景下，hash算法冲突导致的性能回退问题。 调度器对于失败任务的处理行为和8.3.0版本保持一致。 修复故障场景下，pg_stat_object空间膨胀问题。 修复8.3.0升级到9.1.0， DataArts Studio 下发的Vacuum Full作业报错问题。 修复JSON字段计算CPU和内存消耗高问题。 【功能增强】 ORC外表支持zstd压缩格式。 GIS新增支持st_asmvtgeom/st_asmvt/st_squaregrid函数。

9.1.0.100版本（2024年8月12日） 【弹性架构】 架构升级：基于华为云 对象存储服务 OBS，推出存算分离架构3.0，计算、存储分层弹性，存储按需收费，降本增效；计算支持多VW（Virtual Warehouse，逻辑集群，以下简称VW）部署，业务隔离性更好，解决业务间的资源争抢问题。 推出弹性VW特性，弹性VW完全无状态，支持读写加速，灵活应对并发处理能力不足、业务波峰波谷不均衡、数据加载和数据分析资源争抢等问题，详情参见弹性增删逻辑集群。 增删DN节点，支持弹性扩容和经典扩容，弹性扩容不会对OBS上的数据进行重分布，经典扩容会重分布所有数据，系统会根据bucket总数和DN数目，自动决定采用何种扩容方式。 存算分离架构（DWS 3.0）通过磁盘缓存和IO异步读写提升性能，在磁盘缓存全命中时，持平存算一体架构（DWS 2.0）。 图1 存算分离架构

数据迁移概述 SFS Turbo默认只能被云上同一个VPC内的ECS/CCE访问，用户可通过云专线/VPN/对等连接等方式打通网络，实现多种访问方式。 云下或其他云访问： 云专线/VPN 云上同区域同一账号不同VPC： VPC对等连接 云上同区域跨账号访问： VPC对等连接 不同区域访问： 云连接 本章主要介绍如何将本地NAS存储中的数据迁移至SFS Turbo，主要是通过访问公网的ECS直接挂载进行迁移，可分为以下两种网络条件： 通过mount方式挂载访问SFS Turbo。 通过云专线迁移 无法打通网络直接挂载，可以通过公网访问华为云ECS绑定的EIP进行传输迁移。 使用公网迁移 父主题： 数据迁移

前提条件 创建SFS Turbo文件系统前，确认已有可用的VPC。 如果无VPC，可参考《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建SFS Turbo文件系统前，确认已有可用的ECS，且ECS归属到已创建的VPC下。 如果无ECS，可参考《弹性云服务器快速入门》中的“购买弹性云服务器”章节购买ECS。 创建SFS Turbo文件系统，依赖的服务有：虚拟私有云 VPC、费用中心 BSS、专属存储服务 DSS和弹性云服务器 ECS。需要配置的角色/策略如下： IAM 用户设置了SFS Turbo FullAccess权限后，权限集中包含了VPC FullAccess，这是创建文件系统所需要的权限，用户不需额外添加VPC FullAccess 系统策略。 如果需要创建包年包月文件系统，需要设置BSS Administrator权限。 如果需要在专属项目下创建文件系统，需要设置DSS FullAccess 和 ECS FullAccess权限。

加密挂载教程-Linux 安装stunnel。 stunnel是一个开源网络中继。stunnel会监听本地端口，并将发到其上的流量加密转发到SFS Turbo文件系统，要使用加密传输功能需要先安装stunnel。请执行以下命令进行安装： ubuntu或Debian操作系统安装命令 sudo apt update sudo apt-get install stunnel CentOS，EulerOS或HCE OS操作系统安装命令 sudo yum install stunnel 推荐使用Stunnel版本为5.56或以上。 选取未被占用的端口作为本地监听端口。 如下示例，执行如下命令查看本地已被占用的端口： netstat -anp | grep 127.0.0.1 图1 本地已被占用端口 由于20049已被占用，所以需要在20050到21049之间选择一个未被占用的端口作为本地监听端口。 配置stunnel配置文件。 在/etc/stunnel路径下新建stunnel_[本地监听端口].conf文件，在此文件中写入： client = yes sslVersion = TLSv1.2 [nfs] ciphers = ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256 accept = 127.0.0.1:[本地监听端口] connect = [dns name]:2052 执行如下命令拉起stunnel进程。 stunnel /etc/stunnel/stunnel_[本地监听端口].conf 执行如下挂载命令。 mount -t nfs -o vers=3,nolock,tcp,port=[本地监听端口],mountport=[本地监听端口] 127.0.0.1:/ [挂载点] 加密挂载完成后，在此挂载点上的所有文件操作与非加密场景的文件操作一致。 如果stunnel进程异常退出会导致文件操作卡住，可以利用crontab等linux能力，保证stunnel进程退出后自动拉起。

步骤二：非sharegpt格式数据集转换（可选） 如果数据集json文件不是sharegpt格式，而是常见的 { "prefix": "AAA" "input": "BBB", "output": "CCC" } 格式，则需要执行convert_to_sharegpt.py 文件将数据集转换为share gpt格式。 python convert_to_sharegpt.py \ --input_file_path data_test.json \ --out_file_name ./data_for_sharegpt.json \ --prefix_name instruction \ --input_name input \ --output_name output \ --code_type utf-8 其中： input_file_path：预训练json文件地址。 out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀 字段名称 （可设置为None，此时预训练数据集只有 input output 两段）输入前缀，（例如：您是一个xxx专家,您需要回答下面问题） input_name：预训练json文件的指令输入 字段名称（例如：请问苹果是什么颜色） output_name output：预训练json文件的output字段名称，例如：苹果是红色的。 code_type：预训练json文件编码 默认utf-8 当转换为share gpt格式时，prefix和 input会拼接成一段文字，作为human字段，提出问题，而output字段会作为gpt字段，做出回答。

步骤五：训练生成权重转换成可以支持vLLM推理的格式 将训练完成后的权重文件（.bin文件或. safetensors文件），移动到下载好的开源权重目录下（即步骤4中，config文件所在目录）。 然后在llm_tools/spec_decode/EAGLE文件夹，执行 python convert_eagle_ckpt_to_vllm_compatible.py --base-path 大模型权重地址 --draft-path 小模型权重地址 --base-weight-name 大模型包含lm_head的权重文件名 --draft-weight-name 小模型权重文件名 --base-path：为大模型权重地址，例如 ./llama2-7b-chat --draft-path：小模型权重地址 即步骤四中config文件所在目录，例如 ./eagle_llama2-7b-chat --base-weight-name：为大模型包含lm_head的权重文件名，可以在 base-path 目录下的 model.safetensors.index.json 文件获取，例如llama2-7b-chat 的权重名为pytorch_model-00001-of-00002.bin --draft-weight-name 为小模型权重文件名，即刚才移动的.bin文件或者.safetensors 文件

步骤四：执行训练 安装完成后，执行： accelerate launch -m --mixed_precision=bf16 eagle.train.main \ --tmpdir [path of data] \ --cpdir [path of checkpoints] \ --configpath [path of config file] \ --basepath [path of base_model] --bs [batch size] tmpdir：即为步骤三中的outdir，训练data地址 cpdir：为训练生成权重的地址 configpath：为模型config文件的地址 basepath：为大模型权重地址 bs：为batch大小 其中，要获取模型config文件， 首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。 图1 EAGLE Weights 以llama2-chat-7B为例，单击进入后 ，如下图所示config文件，即为对应模型的eagle config文件。

步骤三：sharegpt格式数据生成为训练data数据集 若使用开源数据集，推荐使用原论文代码仓数据集，下载地址：https://huggingface.co/datasets/Aeala/ShareGPT_Vicuna_unfiltered/blob/main/ShareGPT_V4.3_unfiltered_cleaned_split.json 否则使用第二步生成的开源数据集。 python allocation.py \ --outdir outdir0/sharegpt_0_99_mufp16 \ --end_num 100 \ --used_npus "0,1,2,3,4,5,6,7" \ --model_type llama \ --model_name ./llama-7B \ --data_path data_for_sharegpt.json \ --seed 42 \ --max_length 2048 \ --dtype bfloat16 其中 outdir：生成的训练data 地址 end_num：生成的data总条数 used_npus：使用哪些NPU model_type：使用模型类型 目前支持 qwen2 llama1 llama2 及 llama3，其中llama1、2及chat都填写llama model_name：模型地址 data_path：预训练数据集地址 即一中生成的文件地址 seed：生成训练data所使用的seed（此处42为开源训练设定参数） max_length：模型的max_length dtype：为模型dtype 默认为bfloat16

步骤五：训练生成权重转换成可以支持vLLM推理的格式 将训练完成后的权重文件（.bin文件或. safetensors文件），移动到下载好的开源权重目录下（即步骤4中，config文件所在目录）。 然后在llm_tools/spec_decode/EAGLE文件夹，执行 python convert_eagle_ckpt_to_vllm_compatible.py --base-path 大模型权重地址 --draft-path 小模型权重地址 --base-weight-name 大模型包含lm_head的权重文件名 --draft-weight-name 小模型权重文件名 --base-path：为大模型权重地址，例如 ./llama2-7b-chat --draft-path：小模型权重地址 即步骤四中config文件所在目录，例如 ./eagle_llama2-7b-chat --base-weight-name：为大模型包含lm_head的权重文件名，可以在 base-path 目录下的 model.safetensors.index.json 文件获取，例如llama2-7b-chat 的权重名为pytorch_model-00001-of-00002.bin --draft-weight-name 为小模型权重文件名，即刚才移动的.bin文件或者.safetensors 文件

步骤四：执行训练 安装完成后，执行： accelerate launch -m --mixed_precision=bf16 eagle.train.main \ --tmpdir [path of data] \ --cpdir [path of checkpoints] \ --configpath [path of config file] \ --basepath [path of base_model] --bs [batch size] tmpdir：即为步骤三中的outdir，训练data地址 cpdir：为训练生成权重的地址 configpath：为模型config文件的地址 basepath：为大模型权重地址 bs：为batch大小 其中，要获取模型config文件， 首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。 图1 EAGLE Weights 以llama2-chat-7B为例，单击进入后 ，如下图所示config文件，即为对应模型的eagle config文件。

步骤三：sharegpt格式数据生成为训练data数据集 若使用开源数据集，推荐使用原论文代码仓数据集，下载地址：https://huggingface.co/datasets/Aeala/ShareGPT_Vicuna_unfiltered/blob/main/ShareGPT_V4.3_unfiltered_cleaned_split.json 否则使用第二步生成的开源数据集。 python allocation.py \ --outdir outdir0/sharegpt_0_99_mufp16 \ --end_num 100 \ --used_npus "0,1,2,3,4,5,6,7" \ --model_type llama \ --model_name ./llama-7B \ --data_path data_for_sharegpt.json \ --seed 42 \ --max_length 2048 \ --dtype bfloat16 其中 outdir：生成的训练data 地址 end_num：生成的data总条数 used_npus：使用哪些NPU model_type：使用模型类型 目前支持 qwen2 llama1 llama2 及 llama3，其中llama1、2及chat都填写llama model_name：模型地址 data_path：预训练数据集地址 即一中生成的文件地址 seed：生成训练data所使用的seed（此处42为开源训练设定参数） max_length：模型的max_length dtype：为模型dtype 默认为bfloat16

步骤二：非sharegpt格式数据集转换（可选） 如果数据集json文件不是sharegpt格式，而是常见的 { "prefix": "AAA" "input": "BBB", "output": "CCC" } 格式，则需要执行convert_to_sharegpt.py 文件将数据集转换为share gpt格式。 python convert_to_sharegpt.py \ --input_file_path data_test.json \ --out_file_name ./data_for_sharegpt.json \ --prefix_name instruction \ --input_name input \ --output_name output \ --code_type utf-8 其中： input_file_path：预训练json文件地址。 out_file_name：输出的sharegpt格式文件地址。 prefix_name：预训练json文件的前缀 字段名称 （可设置为None，此时预训练数据集只有 input output 两段）输入前缀，（例如：您是一个xxx专家,您需要回答下面问题） input_name：预训练json文件的指令输入 字段名称（例如：请问苹果是什么颜色） output_name output：预训练json文件的output字段名称，例如：苹果是红色的。 code_type：预训练json文件编码 默认utf-8 当转换为share gpt格式时，prefix和 input会拼接成一段文字，作为human字段，提出问题，而output字段会作为gpt字段，做出回答。

SD WebUI推理性能测试 以下性能测试数据仅供参考。 开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时7.5秒。 图1 生成图片耗时（1） 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(32GB)，约耗时9.3秒。 图2 生成图片耗时（2） 不开启Flash Attention 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(64GB)，约耗时10.1秒。 图3 生成图片耗时（3） 生成1280x1280图片，使用Ascend: 1* ascend-snt9b(32GB)，约耗时14.1秒。 图4 生成图片耗时（4） 父主题： SD WEBUI套件适配PyTorch NPU的推理指导（6.3.908）

步骤五 部署服务 单击AI应用名称，进入AI应用详情页，单击部署在线服务。 图7 部署在线服务 填写如下服务部署参数。 名称： 服务的名称，按照实际需要填写 是否自动停止：如果配置自动停止，服务会按照配置的时间自动停止。如果需要常驻的服务，建议关掉该按钮。 描述：按照需要填写。 资源池：选择专属资源池。若之前未购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 硬盘空间：至少200GB。 昇腾资源规格：可以申请Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)规格。请按需选择需要的规格，64GB规格的推理耗时更短。 推荐使用“西南-贵阳一”Region上的昇腾资源。 AI应用来源： 我的AI应用。 选择AI应用及其版本：此处选择上一步中创建的sdxl-webui-pytorch:0.0.1应用。 计算节点规格： 按需选择Ascend: 1* ascend-snt9b(32GB)或Ascend: 1* ascend-snt9b(64GB)。 图8 填写服务部署参数 选择开启APP认证并选择应用。 图9 开启APP认证 按照上述配置完参数后，单击“下一步”， 确认信息无误后，单击“提交”，完成服务的部署。

步骤六 访问在线服务 在Chrome浏览器中安装ModHeader插件。 图10 安装ModHeader插件 Chrome浏览器安装ModHeader插件后，可能会导致访问不了ModelArts平台，访问ModelArts时需要临时禁用ModHeader插件。或者使用Edge登录ModelArts，使用Chrome安装插件访问页面。 打开ModHeader，单击添加MOD。 图11 添加MOD 选择添加Request header。 图12 添加Request header 进入在线服务详情，查看Key值和Value值。 Key值固定为X-Apig-AppCode，Value值为APP认证的app_code值，在服务调用指南tab的APP认证API处展开，进行AppCode管理设置。 图13 获取Key值和Value值 将在ModHeader插件中添加Key值和Value值。 图14 添加Key和value 进入在线服务详情页，查看APP认证方式的服务API。 图15 API接口公网地址 复制API接口公网地址，并在地址后添加"/"，进行页面访问，例如： https://infer-app-modelarts-cn-southwest-2.myhuaweicloud.com/v1/infers/abc104bb-d303-4ffb-a8fa-XXXXXXXXX/ 图16 访问在线服务 输入Prompt，修改所需要的请求参数（如Width、Height），进行Prompt请求。 图17 填写请求参数 表1 SDXL模型参数及其含义 参数名称 说明 是否必选 默认值 prompt 提示词，根据提示词生成含有对应内容的图像 是 无 negative_prompt 反向提示词，图像生成过程中应避免的提示 否 无 num_inference_steps 推理步骤数，控制推理的步数 否 40 height 生成图像的纵向分辨率 否 1024 width 生成图像的横向分辨率 否 1024 high_noise_frac 高噪声比例，即基础模型跑的步数占总步数的比例 否 0.8 refiner_switch 是否使用细化模型refiner 否 true（使用） seed 随机种子，控制生成图像的多样性 否 无 您可在ModelArts控制台查看相关日志。 图18 查看相关日志 首次请求时会进行模型加载，耗时较长，因此第一个请求可能超时，第二个请求将会正常，请耐心等待。

步骤四 创建AI应用 在ModelArts的AI应用页面，进行AI应用创建。 图3 创建AI应用 填写如下参数信息。 名称：AI应用的名称，请按照实际应用名填写。 版本：版本描述，请按照实际填写。 元模型来源：注意此处选择“从容器镜像选择”。 容器镜像所在路径：单击文件夹标签，选择已经制作好的镜像。 容器调用接口参数：根据镜像实际提供的协议和端口填写，本案例中的SDXL镜像提供HTTP服务和8183端口。 图4 填写参数（1） 系统运行架构： 选择ARM. 推理加速卡：无。 部署类型： 在线服务。 请求模式：同步请求。 启动命令： source /etc/bashrc && python3 launch.py --skip-torch-cuda-test --port 8183 --enable-insecure-extension-access --listen --log-startup --disable-safe-unpickle --skip-prepare-environment --api 按照上述配置完参数后，单击右下角的立即创建， 完成AI应用的创建。 图5 填写参数（2） 当AI应用状态变为正常时，表示创建完成。 图6 AI应用创建完成

步骤一 导出镜像 完成在DevServer上部署SD WebUI推理服务章节的任务后，在宿主机上执行以下命令，导出镜像。 mv /home/ma-user/sdwebui/stable-diffusion-webui/models/VAE-approx/model.pt /home/ma-user/sdwebui/stable-diffusion-webui/models/VAE-approx/vaeapprox-sdxl.pt docker commit ${container_name} sdxl-train:0.0.1

步骤三 启动 自定义镜像 执行以下命令启动自定义镜像。 docker run -itd --name ${container_name} -p 8183:8183 -v /sys/fs/cgroup:/sys/fs/cgroup:ro -v /etc/localtime:/etc/localtime -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size 60g --device=/dev/davinci_manager --device=/dev/hisi_hdc --device=/dev/devmm_svm --device=/dev/davinci0 --security-opt seccomp=unconfined --network=bridge sdxl-train:0.0.1 bash

步骤四 进入容器运行 进入容器后执行启动命令。 docker exec -it ${container_name} bash python3 launch.py --port 8183 --skip-torch-cuda-test --enable-insecure-extension-access --listen --log-startup --disable-safe-unpickle --api 等待克隆仓库，下载依赖模型，启动成功后显示如图1所示。 图1 启动成功后显示 如果在安装编译handrefinerportable时出错，则需手动下载whl包： wget https://github.com/huchenlei/HandRefinerPortable/releases/download/v1.0.1/handrefinerportable-2024.2.12.0-py2.py3-none-any.whl pip install handrefinerportable-2024.2.12.0-py2.py3-none-any.whl --no-deps 如果启动不成功，验证PyTorch版本，需要torch==2.1.0。 pip list | grep torch #如果不是2.1.0版本，请重新安装 pip uninstall torch pip install torch==2.1.0 验证效果。 新开启一个终端，执行以下命令。 curl --noproxy '*' -kv -X POST localhost:8183/sdapi/v1/txt2img -H "Content-Type: application/json" -d '{"prompt":"ultrarealistic shot of a furry blue bird"}' 执行成功显示： 图2 执行成功显示 在浏览器输入http://{宿主机ip}:8183，可以访问前端页面，通过输入文字生成图片。 图3 输入文字生成图片 注意需要勾选Enable Flash Attention按钮。 图4 Enable Flash Attention优化按钮

步骤一 准备环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward

镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 镜像用途 镜像地址 Cann版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2312-aarch64-snt9b-20240824153350-cebb080 cann_8.0.rc3

软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 插件代码包 AscendCloud-3rdAIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。