表格存储服务 CloudTable-HBase Elasticsearch schema说明

时间:2023-11-01 16:16:51

HBase Elasticsearch schema说明

HBase通过表的METADATA来存储Elasticsearch schema的定义:

表1 schema定义

字段名称

value说明

是否必填

hbase.index.es.enabled

该HBase表在Elasticsearch中是否创建全文索引,true表示创建,默认为false。

hbase.index.es.endpoint

云搜索服务 集群(Elasticsearch引擎)的访问地址,例如'ip1:port,ip2:port'。

hbase.index.es.indexname

HBase表对应在Elasticsearch中的索引名称,必须小写。

hbase.index.es.shards

Elasticsearch中索引的分片数量,默认5。取值为大于等于1的整数。

hbase.index.es.replicas

Elasticsearch中的索引的副本数量,默认1。取值为大于等于0的整数。

hbase.index.es.schema

HBase和Elasticsearch的字段映射,json数组格式的字符,每个元素包含以下字段:

  • name:Elasticsearch中的字段名称。
  • type:Elasticsearch中的字段类型。
  • hbaseQualifier:数据源HBase qualifier。
  • analyzer:text类型的字段通过“analyzer”可以指定分词器。中文分词器一般使用“ik_smart”。默认是“Standard”分词器,支持英文。

例如:

'[ {"name":"contentCh","type":"text","hbaseQualifier":"cf1:contentCh","analyzer":"ik_smart"}, {"name":"contentEng","type":"text","hbaseQualifier":"cf2:contentEng"},{"name":"id","type":"long","hbaseQualifier":"cf1:id"} ]'

HBase-Elasticsearch全文检索当前支持的数据类型有{"text", "long", "integer", "short", "byte", "double", "float","boolean"},也就是schema中type的取值类型。text是Elasticsearch中的文本类型。全文检索一般是指对text类型数据的检索,同时也支持基本数据类型的准确检索。

support.huaweicloud.com/devg-cloudtable/cloudtable_01_0159.html