检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入门实践 云搜索服务为您提供各种业务场景、方案架构的最佳实践,方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务,
如果“filter”过滤条件非常强,过滤后的中间结果集较小,则可以通过设置索引参数“index.vector.exact_search_threshold”,实现前置过滤查询切换为暴力查询以提升查询的召回率,参数介绍请参见创建向量索引。 布尔查询:布尔查询实际上是后置过滤查询方式。过滤条件与向量相似度检索分别独立执
Logstash使用流程 表1 Logstash集群的使用流程 任务分类 操作 参考文档 使用 规划集群 在创建Logstash集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点数量与规格,以确保集群的稳定性和性能。 Logstash集群规划建议
项目(cn-north-1)中设置策略,并且该策略仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置策略。访问CSS时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,
Beats作为数据收集器,负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据,或从Beats接收数据,对数据进行过滤、转换和增强。 数据处理 Logstash在将数据发送到Elasticsearch之前,对数据进行必要的处理,如解析结构化日志、过滤无用信息等。
查询和管理Elasticsearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。
查询和管理OpenSearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服
查询自动创建快照的策略 功能介绍 该接口用于查询自动创建快照策略。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/index_snapshot/policy 表1 路径参数 参数 是否必选 参数类型
索引时,需要勾选覆盖才能恢复同shard结构的索引,不同shard结构的索引不支持恢复。请谨慎勾选操作。 在快照管理列表中,当“任务状态”变更为“恢复成功”时表示集群数据迁移完成。 数据迁移完毕,检查目标Elasticsearch集群“Es-2”和源集群“Es-1”数据的一致性。
创建OpenSearch集群用户并授权使用 CSS服务会对开启安全模式的集群进行访问控制,只有通过身份认证的用户才能访问安全集群。在创建安全集群时,必须配置一个管理员账号。该管理员能够使用OpenSearch Dashboard为集群添加新用户,并授予相应的安全集群使用权限。 背景信息
配置Elasticsearch集群索引回收站 Elasticsearch集群在执行删除索引的操作时,会直接将索引删除,没有回收站的能力。为了防止客户误操作导致数据被删除,CSS提供了索引回收站功能,支持将删除的索引存放到回收站中,且支持从回收站中还原索引,进而提升集群的数据可靠性。
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。
增强OpenSearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
词库。 单击“保存”,在弹窗中单击“确定”。词库信息在下方呈现,此时词库状态为“更新中”。请耐心等待1分钟左右,当词库配置完成后,词库状态变更为“成功”。 当删除或更新静态词库这2个词库时,需要重启集群才能使配置的词库生效;其他词库的更新为动态更新,无需重启集群。重启集群的操作指导请参见重启OpenSearch集群。
词库。 单击“保存”,在弹窗中单击“确定”。词库信息在下方呈现,此时词库状态为“更新中”。请耐心等待1分钟左右,当词库配置完成后,词库状态变更为“成功”。 当删除或更新静态词库和Extra词库这4个词库时,需要重启集群才能使配置的词库生效;其他词库的更新为动态更新,无需重启集群。
通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过CSS服务的读写分离插件可以实现华为云Elasticsearch集群间的数据迁移。 应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了CSS服务的读写分离插件,通过配置读写
Elasticsearch向量检索的性能测试和比较 应用场景 云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。
修改密码 功能介绍 该接口用于修改集群密码。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/password/reset 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是