-
停用词
停用词是很常见的词，几乎出现在每一个文档中，并且没有区分值。因此，在全文搜索的语境下可忽视它们。停用词处理逻辑和词典类型相关。例如，Ispell词典会先对标记进行规范化，然后再查看停用词表，而Snowball词典会最先检查输入标记是否为停用词。 例如，每个英文文本包含像a和the的单词，因此没必要将它
来自：帮助中心 -
解析文档
n并给每个token指定一个类型。对于每个token，有一系列词典可供查询。词典系列因token类型的不同而不同。识别token的第一本词典将发出一个或多个标准词素来表示token。例如： rats变成rat因为词典认为词rats是rat的复数形式。 有些词被作为停用词（请参考停
来自：帮助中心 -
分词器
文本搜索解析器将文档分解为token，并且分类每个token（例如：词和数字）。 文本搜索词典将token转换成规范格式并且丢弃停用词。 文本搜索模板提供潜在的词典功能：一个词典指定一个模板，并且为模板设置参数。 文本搜索分词器选择一个解析器，并且使用一系列词典规范化语法分析器产生的token。 父主题： 介绍
来自：帮助中心 -
配置示例
CONFIGURATION 创建Synonym词典。 假设同义词词典定义文件pg_dict.syn内容如下： 1 2 3 postgres pg pgsql pg postgresql pg 执行如下语句创建Synonym词典： 1 2 3 4 5 openGauss=#
来自：帮助中心 -
配置示例
![]()
CONFIGURATION 创建Synonym词典。 假设同义词词典定义文件pg_dict.syn内容如下： 1 2 3 postgres pg pgsql pg postgresql pg 执行如下语句创建Synonym词典： 1 2 3 4 5 openGauss=#
来自：帮助中心 -
全文检索概述
-
约束与限制
![]()
单个训练集最多设置10000个语料。 单次导入语料数量 文件大小不超过1M。 单实例并发 50tps 使用我的词典时，存在如下限制： 表3 我的词典相关规格 规格项 规格限制 词典数量 最多支持创建50个词典。 单词典词条数量 单个词典最多支持创建50000个词条。 单词条同义词数量 单个词条最多支持设置20个同义词。
来自：帮助中心 -
文本搜索配置示例
![]()
CONFIGURATION 创建Synonym词典。 假设同义词词典定义文件pg_dict.syn内容如下： 1 2 3 postgres pg pgsql pg postgresql pg 执行如下语句创建Synonym词典： 认证用的AK和SK硬编码到代码中或
来自：帮助中心 -
停用词
![]()
停用词是很常见的词，几乎出现在每一个文档中，并且没有区分值。因此，在全文搜索的语境下可忽视它们。停用词处理逻辑和词典类型相关。例如，Ispell词典会先对标记进行规范化，然后再查看停用词表，而Snowball词典会最先检查输入标记是否为停用词。 例如，每个英文文本包含像a和the的单词，因此没必要将它
来自：帮助中心 -
停用词
![]()
停用词是很常见的词，几乎出现在每一个文档中，并且没有区分值。因此，在全文搜索的语境下可忽视它们。停用词处理逻辑和词典类型相关。例如，Ispell词典会先对标记进行规范化，然后再查看停用词表，而Snowball词典会最先检查输入标记是否为停用词。 例如，每个英文文本包含像a和the的单词，因此没必要将它
来自：帮助中心 -
停用词
![]()
停用词是很常见的词，几乎出现在每一个文档中，并且没有区分值。因此，在全文搜索的语境下可忽视它们。停用词处理逻辑和词典类型相关。其中，Ispell词典会先对标记进行规范化，然后再查看停用词表，而Snowball词典会最先检查输入标记是否为停用词。 例如，每个英文文本包含像a和the的单词，因此没必要将它
来自：帮助中心 -
解析文档
![]()
n并给每个token指定一个类型。对于每个token，有一系列词典可供查询。词典系列因token类型的不同而不同。识别token的第一本词典将发出一个或多个标准词素来表示token。例如： rats变成rat因为词典认为词rats是rat的复数形式。 有些词被作为停用词（请参考停
来自：帮助中心 -
解析文档
![]()
n并给每个token指定一个类型。对于每个token，有一系列词典可供查询。词典系列因token类型的不同而不同。识别token的第一本词典将发出一个或多个标准词素来表示token。例如： rats变成rat因为词典认为词rats是rat的复数形式。 有些词被作为停用词（请参考停
来自：帮助中心 -
解析文档
![]()
n并给每个token指定一个类型。对于每个token，有一系列词典可供查询。词典系列因token类型的不同而不同。识别token的第一本词典将发出一个或多个标准词素来表示token。例如： rats变成rat因为词典认为词rats是rat的复数形式。 有些词被作为停用词（请参考停
来自：帮助中心 -
停用词
![]()
停用词是很常见的词，几乎出现在每一个文档中，并且没有区分值。因此，在全文搜索的语境下可忽视它们。停用词处理逻辑和词典类型相关。例如，Ispell词典会先对标记进行规范化，然后再查看停用词表，而Snowball词典会最先检查输入标记是否为停用词。 例如，每个英文文本包含像a和the的单词，因此没必要将它
来自：帮助中心 -
解析文档
![]()
n并给每个token指定一个类型。对于每个token，有一系列词典可供查询。词典系列因token类型的不同而不同。识别token的第一本词典将发出一个或多个标准词素来表示token。例如： rats变成rat因为词典认为词rats是rat的复数形式。 有些词被作为停用词（请参考停
来自：帮助中心 -
分词器测试
![]()
dictionaries：regdictionary数组类型，是分词器为token选定的词典。 dictionary：regdictionary类型，用来识别token的词典。如果为空，则不做识别。 lexemes：text数组类型，词典识别token时生成的词素。如果为空，则不生成词素。空数组（{}）意味着token将被识别成停用词。
来自：帮助中心 -
相似文档排序召回检索函数和操作符
![]()
功能说明：增量添加词典内容。 第一个参数为词典OID，可以直接输入词典名字符串由数据库内部做自动转换。 第二个参数表示该次增量词典内容添加的内容类型，'t'表示关键词或者同义词，'s'表示停用词。 第三个参数是添加的词典内容，类型为文本数组，数组中每条数据应单独表示一条词典内容定义，定
来自：帮助中心 -
测试和调试文本搜索
![]()
自定义文本搜索分词器的行为很容易变得混乱，本节中描述的函数用于对文本搜索对象进行测试。可以测试分词器整体，也可以单独测试解析器和词典。 分词器测试 age解析器测试 词典测试 父主题： 全文检索
来自：帮助中心 -
分词器
![]()
文本搜索解析器将文档分解为token，并且分类每个token（例如：词和数字）。 文本搜索词典将token转换成规范格式并且丢弃停用词。 文本搜索模板提供潜在的词典功能：一个词典指定一个模板，并且为模板设置参数。 文本搜索分词器选择一个解析器，并且使用一系列词典规范化语法分析器产生的token。 父主题： 介绍
来自：帮助中心 -
分词器
![]()
文本搜索解析器将文档分解为token，并且分类每个token（例如：词和数字）。 文本搜索词典将token转换成规范格式并且丢弃停用词。 文本搜索模板提供潜在的词典功能：一个词典指定一个模板，并且为模板设置参数。 文本搜索分词器选择一个解析器，并且使用一系列词典规范化语法分析器产生的token。 父主题： 介绍
来自：帮助中心
