云数据库 GaussDB-解析器测试

时间：2023-11-01 16:22:04

云数据库 GaussDB

解析器测试

函数ts_parse可以直接测试文本搜索解析器。

     
          ts_parse(parser_name text, document text,         OUT tokid integer, OUT token text) returns setof record

ts_parse解析指定的document并返回一系列的记录，一条记录代表一个解析生成的token。每条记录包括标识token类型的tokid，及token文本。例如：

     
          openGauss=# SELECT * FROM ts_parse('default', '123 - a number'); tokid | token-------+--------    22 | 123    12 |    12 | -     1 | a    12 |     1 | number(6 rows)

函数ts_token_type返回指定解析器的token类型及其描述信息。

     
          ts_token_type(parser_name text, OUT tokid integer,              OUT alias text, OUT description text) returns setof record

ts_token_type返回一个表，这个表描述了指定解析器可以识别的每种token类型。对于每个token类型，表中给出了整数类型的tokid--用于解析器标记对应的token类型；alias——命名分词器命令中的token类型；及简单描述。比如：

     
          openGauss=# SELECT * FROM ts_token_type('default'); tokid |      alias      |               description                -------+-----------------+------------------------------------------     1 | asciiword       | Word, all ASCII     2 | word            | Word, all letters     3 | numword         | Word, letters and digits     4 | email           | Email address     5 | url             | URL     6 | host            | Host     7 | sfloat          | Scientific notation     8 | version         | Version number     9 | hword_numpart   | Hyphenated word part, letters and digits    10 | hword_part      | Hyphenated word part, all letters    11 | hword_asciipart | Hyphenated word part, all ASCII    12 | blank           | Space symbols    13 | tag             | XML tag    14 | protocol        | Protocol head    15 | numhword        | Hyphenated word, letters and digits    16 | asciihword      | Hyphenated word, all ASCII    17 | hword           | Hyphenated word, all letters    18 | url_path        | URL path    19 | file            | File or path name    20 | float           | Decimal notation    21 | int             | Signed integer    22 | uint            | Unsigned integer    23 | entity          | XML entity(23 rows)