检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。
确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7.6.2,则安装7.6的Elasticsearch Python客户端。
前提条件 当智能检测任务完成后需要发送SMN告警通知时,需要先在SMN服务创建主题,操作指导请参见创建主题。同时,需要参考授权使用SMN服务完成SMN服务授权。 启动检测任务 登录云搜索服务管理控制台。 在集群管理页面,单击需要进行智能运维的集群名称,跳转至该集群基本信息页面。
常用于以下场景: 变更服务提供商:如果企业当前使用的是第三方Elasticsearch服务,但出于成本、性能或其他战略考虑,希望更换服务提供商至华为云。
创建向量索引 登录云搜索服务管理控制台。 在“集群管理”页面,选择需要启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,执行如下命令创建向量索引。
通过索引生命周期管理实现存算分离 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录OpenSearch Dashboards页面。
使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED 问题现象 使用ElasticSearch的HLRC(High Level Rest Client)时,偶现报出I/O Reactor STOPPED
前提条件 CSS服务的Elasticsearch和OpenSearch集群处于可用状态。 已创建一个ECS服务,且和CSS服务的集群在同一个虚拟私有云和安全组中。
CSS集群平均已用内存比例达到98%怎么办? 问题现象 查看集群监控发现,Elasticsearch集群“平均已用内存比例”一直处于98%,用户担心内存比例过高是否对集群有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被
登录云搜索服务管理控制台。 在“集群管理”页面,选择待配置大查询隔离的集群,单击操作列“Kibana”,登录Kibana界面。 在Kibana的左侧导航中选择“Dev Tools”,执行如下命令开启大查询隔离和全局查询超时的特性开关。
云搜索服务就是通过冷数据的本地缓存,实现冷数据的查询性能提升。本地缓存配置是预置的,用户可以基于业务场景修改配置,也可以查询、了解本地缓存信息。 修改冷数据的本地缓存配置。
通过S3插件实现自建Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,常用于以下场景: 服务迁移上云:将自建的Elasticsearch服务迁移到云平台,以利用云服务的可扩展性、维护简便性和成本效益。
创建生命周期策略 登录云搜索服务管理控制台。 在“集群管理”页面选择需要登录的集群,单击“操作”列中的“Kibana”,登录Kibana页面。 在菜单栏选择“IM”或“Index Management”,进入索引管理页面 。
图3 Logstash部署在弹性云服务器上时导入数据示意图 确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的9200端口的外网访问权限,且弹性云服务器已绑定弹性IP。
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储
图1 返回消息 在ECS服务器上使用开源Elasticsearch API导入数据 在ECS服务器上支持通过Curl命令使用开源Elasticsearch API导入JSON数据文件。
登录云搜索服务控制台。 选择“集群管理”进入集群列表。 单击对应集群的名称,进入集群基本信息页面。 在“基本信息”页面,单击“HTTPS访问”后面的“下载证书”。 图2 下载证书 转换安全证书(CloudSearchService.cer)。
设置自动创建快照 登录云搜索服务管理控制台。 开启集群自动创建快照。支持在创建集群的时候就打开集群自动创建快照,操作指导请参见7,或者在集群创建完成之后再开启集群自动创建快照。 如果在创建集群时已经打开集群自动创建快照,请执行7。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads
通过索引生命周期管理实现自动滚动索引 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录OpenSearch Dashboard页面。