云数据库 GAUSSDB-解析文档
解析文档
GaussDB 中提供了to_tsvector函数把文档处理成tsvector数据类型。
1
|
to_tsvector([ config regconfig, ] document text) returns tsvector |
to_tsvector将文本文档解析为token,再将token简化到词素,并返回一个tsvector。其中tsvector中列出了词素及它们在文档中的位置。文档是根据指定的或默认的文本搜索分词器进行处理的。这里有一个简单的例子:
1 2 3 4 |
postgres=# SELECT to_tsvector('english', 'a fat cat sat on a mat - it ate a fat rats'); to_tsvector ----------------------------------------------------- 'ate':9 'cat':3 'fat':2,11 'mat':7 'rat':12 'sat':4 |
通过以上例子可发现结果tsvector不包含词a、on或者it,rats变成rat,并且忽略标点符号-。
to_tsvector函数内部调用一个解析器,将文档的文本分解成token并给每个token指定一个类型。对于每个token,有一系列词典可供查询。词典系列因token类型的不同而不同。识别token的第一本词典将发出一个或多个标准词素来表示token。例如:
- rats变成rat因为词典认为词rats是rat的复数形式。
- 有些词被作为停用词(请参考停用词),这样它们就会被忽略,因为它们出现得太过频繁以致于搜索中没有用处。比如例子中的a、on和it。
- 如果没有词典识别token,那么它也被忽略。在这个例子中,符号“-”被忽略,因为词典没有给它分配token类型(空间符号),即空间记号永远不会被索引。
语法解析器、词典和要索引的token类型由选定的文本搜索分词器决定。可以在同一个数据库中有多种不同的分词器,以及提供各种语言的预定义分词器。在以上例子中,使用缺省分词器english。
函数setweight可以给tsvector的记录加权重,权重是字母A、B、C、D之一。这通常用于标记来自文档不同部分的记录,比如标题、正文。之后,这些信息可以用于排序搜索结果。
因为to_tsvector(NULL)会返回空,当字段可能是空的时候,建议使用coalesce。以下是推荐的为结构化文档创建tsvector的方法:
1 2 3 4 5 6 7 8 9 10 |
postgres=# CREATE TABLE tsearch.tt (id int, title text, keyword text, abstract text, body text, ti tsvector); postgres=# INSERT INTO tsearch.tt(id, title, keyword, abstract, body) VALUES (1, 'China', 'Beijing', 'China','China, officially the People''s Republic of China (PRC), located in Asia, is the world''s most populous state.'); postgres=# UPDATE tsearch.tt SET ti = setweight(to_tsvector(coalesce(title,'')), 'A') || setweight(to_tsvector(coalesce(keyword,'')), 'B') || setweight(to_tsvector(coalesce(abstract,'')), 'C') || setweight(to_tsvector(coalesce(body,'')), 'D'); postgres=# DROP TABLE tsearch.tt; |
上例使用setweight标记已完成的tsvector中的每个词的来源,并且使用tsvector连接操作符||合并标记过的tsvector值,处理tsvector一节详细介绍了这些操作。
- GaussDB视频教程_gaussdb查看表结构语句_高斯数据库视频教程_华为云
- GaussDB学习_gaussdb教程_高斯数据库学习_华为云
- 石墨文档网页版_石墨在线文档_石墨文档在线编辑_文档协同管理
- GaussDB数据库考试_GaussDB认证_高斯数据库考试_华为云
- 免费云数据库MongoDB_DDS文档数据库数据库免费_文档数据库是免费的吗
- 什么是免费动态域名解析_免费的动态域名解析的步骤
- 云速建站域名解析与绑定_云速建站域名如何解析_如何绑定域名
- ddns域名注册_ddns域名解析
- GaussDB文档_GaussDB数据库文档_高斯数据库文档_华为云
- GaussDB考试_GaussDB数据库考试_高斯数据库考试_华为云