检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅Elasticsearch 7.10.2版本的集群支持在嵌套字段中使用向量索引。 创建向量索引 创建一个带有嵌套字段的向量索引,该索引包含一个id字段,类型为keyword,包含一个embedding字段,类型为nested。embedding嵌套字段包含两个子字段chunk和emb,其中chunk为k
使用Elasticsearch加速关系型数据库的查询分析 介绍如何将MySQL数据库中的数据同步到云搜索服务的Elasticsearch集群,通过Elasticsearch实现数据库的全文检索、Ad Hoc查询和统计分析能力。 应用场景 使用Elasticsearch加速关系型数据库,可以解决关系型数据库在某些方
Elasticsearch中的_id字段必须与MySQL中的id字段相同。 这是为了确保当MySQL中的记录写入Elasticsearch时,同步任务可在MySQL记录与Elasticsearch索引之间建立一个直接映射的关系。例如,当MySQL中更新了某条记录时,同步任务会覆盖E
r强制过滤“status”字段为“published”并且“publish_date”字段为“2015-01-01”以后的文档,must规定“title”字段含有“Search”并且“content”字段含有“Search”。 must和filter字段的区别在于filter等同
r强制过滤“status”字段为“published”并且“publish_date”字段为“2015-01-01”以后的文档,must规定“title”字段含有“Search”并且“content”字段含有“Search”。 must和filter字段的区别在于filter等同
目标Elasticsearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本 ElasticSearch 5.5、6.2、6.5、7.1、7.6、7.9、7.10版本 将MySQL同步到CSS/ES
GRAPH类索引配置参数 ef 查询时考察邻居节点的队列大小。值越大查询精度越高,查询速度会变慢。默认值为200。 取值范围:(0, 100000]。 max_scan_num 扫描节点上限。值越大精度越高,查询速度变慢。默认值为10000。 取值范围:(0, 1000000]。 IVF类索引配置参数
默认值为“null”,即不会切换为暴力搜索。 Field mappings参数 type 字段类型,“vector”表示该字段为向量字段。 dimension 向量数据维度。取值范围:[1, 4096]。 indexing 是否开启向量索引加速。 可选值: false:表示关闭向量索引加速,向量数据仅写入doc
询性能,提升使用效率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。
GRAPH类索引配置参数 ef 查询时考察邻居节点的队列大小。值越大查询精度越高,查询速度会变慢。默认值为200。 取值范围:(0, 100000]。 max_scan_num 扫描节点上限。值越大精度越高,查询速度变慢。默认值为10000。 取值范围:(0, 1000000]。 IVF类索引配置参数
目标OpenSearch集群 参考文档 将RDS for MySQL数据库的数据导入到CSS Elasticsearch集群 RDS for MySQL 5.5、5.6、5.7、8.0版本 OpenSearch 1.3.6版本 将MySQL同步到CSS/ES 将TaurusDB数据库的数据导入到CSS
queue_size。 设置合适的字段类型 指定集群中各字段的类型,防止Elasticsearch默认将字段猜测为keyword和text的组合类型,增加不必要的数据量。其中keyword用于关键词搜索,text用于全文搜索。 对于不需要索引的字段,建议“index”设置为“false”。
当需要使用向量索引加速时,需要设置该值为true。 Field mappings参数 type 字段类型,“vector”表示该字段为向量字段。 dimension 向量数据维度。取值范围:[1, 4096]。 indexing 是否开启向量索引加速。 可选值: false:表示关闭向量
asticsearch集群的版本要相近,否则可能迁移异常。如果迁移过程中出现图表不兼容的报错,可以参考常见问题:迁移过程中,发现图表不兼容怎么办?处理。 前提条件 源Elasticsearch集群和目标Elasticsearch集群处于可用状态。 操作步骤 不同版本的Kibana
聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。 低基字段分组聚合 高基字段聚合 表示对具有较多不同值的列进行聚合,如对一个存储时间的列进行按天的时间聚合。 高基字段直方图聚合 低基字段和高基字段混合聚合 表示对以上两种类型的
"number_of_shards": "30", //指定index分配的shard数,可以根据一个shard 30GB左右的空间来分配 "routing.allocation.total_shards_per_node": 3 //指定一个节点最多容纳的shards数
场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除。 停止管道会造成Logstash数据迁移中断,请谨慎操作。
num_routing_shards) / routing_factor 其中num_routing_shards可以由以下配置指定。 index.number_of_routing_shards 如果不显式指定,则Elasticsearch会自动计算该值,以达到对索引进行split的能力。
v=true&s=index 表2 参数说明 参数名称 说明 v 当返回值格式是表格形式时,设置是否显示表头。 true:显示表头。 false:不显示表头。 缺省值是“false”。 s 指定索引的排序字段。可选值为“index”、“uuid”、“pri”、“rep”、“trash
是 启用冷数据本地缓存的阈值。 当date类型字段的占比小于此值时,启用冷数据本地缓存date类型字段。否则不使用。 如果当前索引的date类型字段占据当前索引的绝大部分数据量,则不建议使用此功能。 单位:% 取值范围:0~100 默认值:50 index.low_cost.local_cache