检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化Elasticsearch和OpenSearch集群查询性能 集群在使用前,建议参考本实践进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 加速关系型数据库查询 使用Elasticsearch加速关系型数据库的查询分析 关系型数据库(例如MySQL)受限于全文检索和Ad Hoc查询能力,因此会将El
找到load飙升的集群,单击集群操作列的“Cerebro”进入可视化页面。 查看cpu和heap指标,如果这两个指标过高则说明集群当前压力较大,客户端可以适当减少大请求发送,等待集群压力下降。 查看shards是否合理,官方建议单个shard大小为20-40GB,建议不要超过50GB;单个节点上的同一索引shard数不要超过5个。
监控集群的写入、查询延迟和吞吐量情况,推荐重点配置如下监控指标:平均索引延迟、平均索引速率、平均查询延迟、平均查询速率。 监控集群的写入、查询的排队队列和拒绝情况,推荐重点配置如下监控指标:Write队列中总排队任务数、Search队列中总排队任务数、Write队列中总的已拒绝任务
format=csv { "query": "SELECT * FROM my-index LIMIT 50" } 查询结果返回CSV格式的数据时,每行对应一个文档,每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如,执行如下命令,从“kibana_sample_da
format=csv { "query": "SELECT * FROM my-index LIMIT 50" } 查询结果返回CSV格式的数据时,每行对应一个文档,每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如,执行如下命令,从“kibana_sample_da
原因分析 当集群每调用一次scroll的创建接口,都会新建一个scroll使用的context,当scroll contexts的数目达到预定值时,将无法继续创建scroll。 处理步骤 执行如下命令,查看“open_contexts”的参数值即为当前scroll contexts的数目。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
4]}]} 向量检索 Nested字段需要使用nested查询,查询时需要指定path参数以指明要查询的嵌套路径,以及必须设置score_mode为max,表示文档的得分为该文档中所有向量与查询向量相似度的最大值。 标准查询 查询与向量[1, 1]最相似的Top10文档。 GET my_index/_search
Elasticsearch中的单个索引由一个或多个分片(shard)组成,每个分片包含多个段(Segment),每一个Segment都是一个倒排索引。 图2 Elasticsearch的索引组成 如图3所示,将文档插入Elasticsearch时,文档首先会被写入缓冲区Buffer中
Distro的ISM。此处简单介绍不涉及ISM template的策略更新步骤,如果要配置有关ISM template的策略可以参考Open Distro文档。 当创建一个policy时,系统会往“.opendistro-ism-config”索引中写入一条数据,这条数据的“_id”就是policy的名字,内容是policy的定义。
故障AZ含多一个节点,需要替换故障可用区中一个节点,才能继续选择主节点。相关替换请联系技术支持。 故障AZ含少一个节点,不中断业务,能够继续选择主节点。 2 3 有50%机会的停机时间。当两个专用主节点分配到一个可用区中,一个主节点分配到另一个可用区中时: 如果具有一个专用主节点的
段数,默认值为0,插件自动根据向量长度设置合适的段数。 查询参数 ef 查询时考察邻居节点的队列大小。值越大查询精度越高,查询速度会变慢。默认值为200。 max_scan_num 扫描节点上限。值越大精度越高,查询速度变慢。默认值为10000。 topk 查询时返回top k条数据。 脚本“base_test_example
、SK设置到仓库中。由于临时的AK、SK是有时效性的(24小时过期),如果一个快照超过24小时还未完成,那么这个快照将会失败。这种情况会有一个比较大的风险,因为此时仓库的AK、SK过期,无法对这个仓库进行更新、查询、删除操作,这种情况下cluster state信息将会无法清除
滚动重启 功能介绍 该接口会一个一个重启节点,在索引数量比较多的情况下耗时较长。 仅当集群的节点数量(含Master节点、Client节点和冷数据节点)大于3时,才支持滚动重启。当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 调用方法
签键和标签值进行搜索。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 父主题: 管理Logstash集群
签键和标签值进行搜索。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 父主题: 管理Elasticsearch集群
签键和标签值进行搜索。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 父主题: 管理OpenSearch集群
entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数:
当集群没有Master节点时,数据节点数量和冷数据节点数量之和大于等于3时才支持缩容。当集群有Master节点时,数据节点数量大于等于2时才支持缩容。当集群不满足缩容条件却想减少集群节点时,建议新建集群,备份与恢复Elasticsearch集群数据迁移集群数据。 当一个集群包含的节点类型