数据仓库服务 GAUSSDB(DWS)-全文检索概述

时间：2024-10-16 16:27:22

数据仓库服务 GAUSSDB(DWS) 介绍

全文检索概述

全文检索（或者说文本搜索）提供了查询可读性文档的能力，并且通过查询相关度将结果进行排序。搜索最常见的方式是：找到包含指定查询词的所有记录，并且按照查询顺序返回这些记录。

文本搜索操作符在数据库中已存在多年。 GaussDB (DWS)为文本数据类型提供~、~*、LIKE和ILIKE操作符，但这些操作符缺乏现代信息系统所要求的许多必要属性，不过这一问题可以通过使用索引及词典进行解决。

实时数仓（单机部署）暂不支持全文检索功能。

文本检索缺乏信息系统所要求的必要属性：

没有语义支持，即使是英语也是如此。
要识别派生词并不是那么容易，即使正则表达式也不能满足要求。例如satisfies和satisfy，当使用正则表达式寻找satisfy时，并不会查询到包含satisfies的文档。用户可以使用OR搜索多种派生形式，但过程非常繁琐。并且有些词会有上千的派生词，容易出错。

使用全文索引可以对文档进行预处理，并且可以使后续的搜索更快速。预处理过程包括：

将文档解析成token。
为每个文档标记不同类别的token是非常有必要的，例如：数字、文字、复合词、电子邮件地址，这样就可以针对不同类别做不同的处理。原则上token的类别依赖于具体的应用，但对于大多数的应用来说，可以使用一组预定义的token类。
将token转换为词素。
词素像token一样是一个字符串，但它已经标准化处理，这样同一个词的不同形式是一样的。例如，标准化通常包括：将大写字母折成小写字母、删除后缀（如英语中的s或者es）。这将允许通过搜索找到同一个词的不同形式，不需要繁琐地输入所有可能的变形样式。同时，这一步通常会删除停用词。这些停用词通常因为太常见而对搜索无用。（总之，token是文档文本的原片段，而词素被认为是有用的索引和搜索词。）GaussDB(DWS)使用词典执行这一步，且提供了各种标准的词典。