检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命名空间 SYS.ES CSS.CUSTOM 集群监控指标列表 监控的指标ID、指标名称、指标含义以及取值范围参见表1。 监控的测量对象:CSS集群。本文介绍的是Logstash集群的监控指标列表。 监控的监控周期(原始指标):1分钟 累计值:从节点启动时开始叠加数值,当节点重启后清零重新累计。
假设某个索引,其每天约产生2.4TB的数据,索引别名“log-alias”,其数据在集群中的组织形态如下图所示。查询时,指向所有test开头的索引;写入时,指向最新的索引。 图1 log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。 前提条件 CSS集群处于可用状态。
使用SQL语言在Elasticsearch中搜索数据 在Elasticsearch集群 6.5.4及之后版本中提供Open Distro for Elasticsearch SQL插件允许您使用SQL而不是Elasticsearch查询域特定语言(DSL)编写查询。 熟悉SQL语言的用户,
静态主词词库 静态主词词库是预置的常用词语的主词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态主词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态主词库时,单击“不使用此词库”,删除词库。 静态停词词库 静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。
Client,实现自定义的Elasticsearch请求内容。 前提条件 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 根据集群选择的网络配置方式,获取集群的访问地址,具体操作请参见网络配置。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www
Elasticsearch集群报错:unassigned shards all indices 问题描述 Elasticsearch集群报错unassigned shards all indices,集群状态为red。 原因分析 当前集群存在未分配的shard。 解决方案 在Kibana的“Dev
bulk_routing”的取值范围如下所示。 “default”:缺省值,使用集群默认的路由机制,Bulk请求中的每一条记录会拆分后独立路由。 “pack”:单个Bulk请求的数据会被随机路由到同一个shard中。 “ocal_pack”:单个Bulk请求的数据会被路由到接收该Bulk请求的数据节
OpenSearch集群搜索增强特性介绍 云搜索服务的OpenSearch集群在开源OpenSearch基础上增加了许多增强特性,增强特性的功能和支持的集群版本请参见表1。 表1 OpenSearch集群搜索增强特性列表 增强特性 特性描述 支持的集群版本 相关文档 向量检索 向量检索
配置OpenSearch集群自定义词库 OpenSearch集群词库介绍 配置和使用OpenSearch集群的自定义词库 父主题: 管理OpenSearch集群
本文介绍如何创建和管理OpenSearch集群的生命周期索引策略。 背景信息 OpenSearch的ISM(Index State Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
入数据,如果是安全模式的集群访问集群的命令请参见通过Curl命令行接入Elasticsearch集群。 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理 > Elasticsearch”,进入集群管理列表页面。 在集群管理列表页面,选择待导入数据的集群,在“内网访问地址
表中其他任务的值保持一致,且不支持修改。 单击“确定”,开始热启动配置文件启动Logstash迁移任务。 可以在管道列表看到热启动的配置文件。 监控迁移任务 当启动配置文件后,在管道列表会生成一个任务,CSS服务支持查看管道任务的数据监控。 在管道列表,单击操作列的“指标监控”,
重启过程中集群不可用,请谨慎操作。 工作中状态的集群,重启过程会主动停止Logstash进程。 当管道列表“是否保持常驻”为“否”时,重启过程中会将所有“运行中”的管道状态置为“已停止”。 当管道列表“是否保持常驻”为“是”时,重启过程中会触发Logstash进程恢复机制,将工作中的管道状态置为“恢复中”
在集群“基本信息”页面,单击“企业项目”右侧的企业项目名称,进入项目管理页面。 在“资源”页签下,“区域”选项中选择当前集群所在的区域,“服务”选项中选“云搜索服务 CSS”。此时,资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群,然后单击“迁出”。
且可以指定恢复到特定的集群状态。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制
断,请谨慎操作。 前提条件 Logstash集群的配置中心有“工作中”的管道任务。 停止全部迁移任务 当需要停止管道列表中全部配置文件的数据迁移任务时,单击管道列表上方的“全部停止”。 根据对话框提示,单击“确定”,停止所有管道的数据迁移任务。 全部停止成功则可以看到管道列表所有任务均停止,且全部管道数据迁移中断。
从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。 前提条件 创建配置文件前,必须先获取数据源和目的端的服务器或
合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数: “es.batch.write.retry.count”:默认重试3次。 “es.batch.write.retry.wait”:每次重试等待时间10s。 如果对查询的实时性级别
副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads”的值(默认为4),增加向量索引构建的线程数。 PUT