数据仓库服务 GAUSSDB(DWS)-排序查询结果

时间:2024-10-16 16:27:22

排序查询结果

排序是指试图针对特定查询衡量文档的相关度,从而将众多的匹配文档中相关度最高的文档排在最前。 GaussDB (DWS)提供了两个预置的排序函数:ts_rank和ts_rank_cd。函数考虑了词法,距离,和结构信息;也就是,考虑查询词在文档中出现的频率、紧密程度、以及出现的地方在文档中的重要性。然而,相关性的概念是模糊的,并且是跟应用强相关的。不同的应用程序可能需要额外的信息来排序,比如,文档的修改时间,内置的排序函数等。也可以自定义排序函数或者采用附加因素组合这些排序函数的结果来满足特定需求。

两个预置的排序函数:

1
ts_rank([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4

基于词素匹配率对vector进行排序:

1
ts_rank_cd([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4

该函数需要位置信息的输入。因此它不能在"剥离"tsvector值的情况下运行—它将总是返回零。

对于这两个函数,可选的权重参数提供给词加权重的能力,词的权重大小取决于所加的权值。权重阵列指定在排序时为每类词汇加多大的权重。

{D-weight, C-weight, B-weight, A-weight}

如果没有提供权重,则使用缺省值:{0.1, 0.2, 0.4, 1.0}

通常的权重是用来标记文档特殊领域的词,如标题或最初的摘要,所以相对于文章主体中的词它们有着更高或更低的重要性。

由于较长的文档有更多的机会包含查询词,因此有必要考虑文档的大小。例如,包含有5个搜索词的一百字文档比包含有5个搜索词的一千字文档相关性更高。两个预置的排序函数都采用了一个整型的标准化选项来定义文档长度是否影响排序及如何影响。这个整型选项控制多个行为,所以它是一个屏蔽字:可以使用“|”指定一个或多个行为(例如,2|4)。

  • 0(缺省)表示:跟长度大小没有关系
  • 1 表示:排名(rank)除以(文档长度的对数+1)
  • 2表示:排名除以文档的长度
  • 4表示:排名除以两个扩展词间的调和平均距离。只能使用ts_rank_cd实现
  • 8表示:排名除以文档中单独词的数量
  • 16表示:排名除以单独词数量的对数+1
  • 32表示:排名除以排名本身+1

当指定多个标志位时,会按照所列的顺序依次进行转换。

需要特别注意的是,排序函数不使用任何全局信息,所以不可能产生一个某些情况下需要的1%或100%的理想标准值。标准化选项32 (rank/(rank+1))可用于所有规模的从零到一之间的排序。而这只是一个表面变化,并不会影响搜索结果的排序。

下面是一个例子,仅选择排名前十的匹配:

由于SQL_ASCII的数据库编码格式不支持中文字符,请在Encoding为UTF8/GBK的数据库中执行以下示例:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
SELECT id, title, ts_rank_cd(to_tsvector(body), query) AS rank 
FROM tsearch.pgweb, to_tsquery('science') query 
WHERE query @@ to_tsvector(body) 
ORDER BY rank DESC 
LIMIT 10;
 id |      title       | rank
----+------------------+------
  7 | Medical science  |   .2
  3 | Computer science |   .1
  2 | Mathematics      |   .1
  5 | Geography        |   .1
(4 rows)

这是使用标准化排序的相同例子:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
SELECT id, title, ts_rank_cd(to_tsvector(body), query, 32 /* rank/(rank+1) */ ) AS rank 
FROM tsearch.pgweb, to_tsquery('science') query 
WHERE  query @@ to_tsvector(body) 
ORDER BY rank DESC 
LIMIT 10;
 id |      title       |   rank
----+------------------+----------
  7 | Medical science  |  .166667
  3 | Computer science | .0909091
  2 | Mathematics      | .0909091
  5 | Geography        | .0909091
(4 rows)

下面是使用中文分词法排序查询的例子:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
CREATE TABLE tsearch.ts_zhparser(id int, body text);
INSERT INTO tsearch.ts_zhparser VALUES(1, '排序');
INSERT INTO tsearch.ts_zhparser VALUES(2, '排序查询');
INSERT INTO tsearch.ts_zhparser VALUES(3, '查询排序');
--精确匹配
SELECT id, body, ts_rank_cd(to_tsvector('zhparser',body), query) AS rank FROM tsearch.ts_zhparser, to_tsquery('排序') query WHERE query @@ to_tsvector(body);
 id | body | rank 
----+------+------
  1 | 排序 |   .1
(1 row)

--模糊匹配
SELECT id, body, ts_rank_cd(to_tsvector('zhparser',body), query) AS rank FROM tsearch.ts_zhparser, to_tsquery('排序') query WHERE query @@ to_tsvector('zhparser',body);
 id |   body   | rank 
----+----------+------
  3 | 查询排序 |   .1
  1 | 排序     |   .1
  2 | 排序查询 |   .1
(3 rows)

排序要遍历每个匹配的tsvector,因此资源消耗多,可能会因为I/O限制导致排序慢。可是这是很难避免的,因为实际查询中通常会有大量的匹配。

support.huaweicloud.com/sqlreference-dws/dws_06_0094.html