检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。
推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。 仅Elasticsearch 7.6.2、Elasticsearch
entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数:
文档插入Elasticsearch的流程 写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge操作的速度,对应到CSS服务,建议选择“超高IO型”存储,或者超高IO型主机。
、可靠。在开启终端节点服务时,系统会默认给用户创建一个终端节点,内网域名由用户自己选择是否创建,通过节点IP或者是内网域名,用户可以跨VPC访问该集群。 终端节点服务通过共享型负载均衡器实现内网访问,共享型负载均衡器资源与其他实例共享资源,如果业务追求更优的负载均衡体验,推荐使用
、可靠。在开启终端节点服务时,系统会默认给用户创建一个终端节点,内网域名由用户自己选择是否创建,通过节点IP或者是内网域名,用户可以跨VPC访问该集群。 终端节点服务通过共享型负载均衡器实现内网访问,共享型负载均衡器资源与其他实例共享资源,如果业务追求更优的负载均衡体验,推荐使用
确认集群不存在非标操作。当集群进行过修改回程路由、系统参数、Kibana配置等这些非标操作时,这些操作无法被记录到系统中,因此在切换过程中将无法继承,切换后可能会影响业务。 在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。
确认集群不存在非标操作。当集群进行过修改回程路由、系统参数、Kibana配置等这些非标操作时,这些操作无法被记录到系统中,因此在切换过程中将无法继承,切换后可能会影响业务。 在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置
云搜索服务支持自动部署,快速创建Elasticsearch集群和OpenSearch集群,免运维,内置搜索调优实践;拥有完善的监控体系,提供一系列系统、集群以及查询性能等关键指标,让用户更专注于业务逻辑的实现。 Logstash Logstash是一个开源数据收集引擎,具有实时管道功能。在ELK整个生态中,Lo
aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.nati
产品规格 当您在云搜索服务创建集群时,系统将为您提供多种规格以满足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜
aggr_perf_batch_size”可以开启集群的Bulk聚合优化。Bulk聚合优化是通过批量导入将Bulk请求中的doc从单个依次写入变为批量写入,该方案可以有效减少内存申请、锁申请、及其他调用开销,从而提升数据导入性能。 Bulk聚合优化 文本索引加速 通过指定配置项“index.nati
集群重启会失败,建议谨慎操作,以免影响业务。 修改完成后,单击上方的“提交”弹出“提交配置”窗口,确认参数无误后勾选“参数修改后需要手动重启才能生效”,单击“确定”。 当下方的参数修改列表显示“作业状态”为“成功”时,表示修改保存成功。系统最多显示20条修改记录。 返回集群列表,单击集群操作列的“更多
选择标签键和标签值进行搜索。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 父主题: 管理Logstash集群
集群重启会失败,建议谨慎操作,以免影响业务。 修改完成后,单击上方的“提交”弹出“提交配置”窗口,确认参数无误后勾选“参数修改后需要手动重启才能生效”,单击“确定”。 当下方的参数修改列表显示“作业状态”为“成功”时,表示修改保存成功。系统最多显示20条修改记录。 返回集群列表,单击集群操作列的“更多
Logstash配置文件模板介绍 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板,请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明
CSS集群迁移 CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 是否支持跨Region迁移CSS集群? 使用华为云Logstash迁移Elasticsearch集群的Logstash配置文件样例
停止Logstash迁移任务 场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除。
占用集群节点磁盘空间的日志及文件如下所示: 日志文件:Elasticsearch日志。 数据文件:Elasticsearch索引文件。 其他文件:集群配置文件。 操作系统:默认余留5%的存储空间。 父主题: 产品咨询