检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Elasticsearch集群读写分离 场景描述 读写分离支持将写入主集群(Leader)的数据自动同步到从集群(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。
滚动重启过程中,只有正在重启的节点不可用,不在重启过程中的节点可以正常提供服务。 当数据量比较大时,滚动重启耗时较长。 滚动重启 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。
当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 在替换指定节点前,建议备份所有关键数据,以免造成数据丢失。
替换OpenSearch集群指定节点 当集群中的节点发生故障时,可以执行“替换指定节点”任务。通过删除故障节点,重建一个一样的新节点,实现节点替换。替换指定节点过程中会将替换节点的数据提前转移,不会造成数据丢失。 前提条件 集群处于“可用”状态,且无正在进行的任务。 在替换指定节点前,建议备份所有关键数据,以免造成数据丢失。
滚动重启过程中,只有正在重启的节点不可用,不在重启过程中的节点可以正常提供服务。 当数据量比较大时,滚动重启耗时较长。 滚动重启 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。
Elasticsearch向量检索的性能测试和比较 应用场景 云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。
一般用于小规格变更为大规格,常用于如下场景: 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢
一般用于小规格变更为大规格,常用于如下场景: 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢
如何查看Elasticsearch和OpenSearch集群的系统默认插件列表 云搜索服务的Elasticsearch和OpenSearch集群自带系统默认插件。可以通过控制台查看或在Kibana/OpenSearch Dashboards查询系统默认插件信息。 通过控制台查看 登录云搜索服务管理控制台。
均优于开源引擎。能够满足高性能、高精度、低成本、多模态等多种应用场景及需求。 向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elasticsearch生态,包括集群监测工具Cerebro,可视化工具Kibana,
看监控指标,在集群监控信息页面查看集群的“Search队列中总排队任务数”和“Write队列中总排队任务数”,如果排队任务数值非0表示存在任务堆积。 图2 Write队列中总排队任务数示例 如果集群存在大量的任务堆积,则参考如下步骤优化集群。 在集群的“日志管理”页面查看节点日志
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak
最大load相对核数占比小于80%( nodes.os.cpu.load_average / cpu核数 < 80%) 在“任务记录”列表,显示当前升级任务。当“任务状态”为“运行中”时,可以展开任务列表,单击“查看进度”查看详细的升级进度。 当“任务状态”为“失败”时,可以重试任务或者直接终止任务。 重试升级:在
最大load相对核数占比小于80%( nodes.os.cpu.load_average / cpu核数 < 80%) 在“任务记录”列表,显示当前升级任务。当“任务状态”为“运行中”时,可以展开任务列表,单击“查看进度”查看详细的升级进度。 当“任务状态”为“失败”时,可以重试任务或者直接终止任务。 重试升级:在
CSS服务中如何清理Elasticsearch索引数据? 在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。
格,常用于如下场景: 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点(ess-master)的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点(ess-client)的“节点规格”。
格,常用于如下场景: 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点(ess-master)的“节点规格”保证集群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点(ess-client)的“节点规格”。
Write队列中总排队任务数 写入线程池中的排队任务数。 ≥ 0 thread_pool_search_queue Search队列中总排队任务数 搜索线程池中的排队任务数。 ≥ 0 thread_pool_force_merge_queue ForceMerge队列中总排队任务数 强制合并线程池中的排队任务数。
Write队列中总排队任务数 写入线程池中的排队任务数。 ≥ 0 thread_pool_search_queue Search队列中总排队任务数 搜索线程池中的排队任务数。 ≥ 0 thread_pool_force_merge_queue ForceMerge队列中总排队任务数 强制合并线程池中的排队任务数。
ncy”直接使用。 当已有自动创建的委托时,可以单击“委托一键授权”,自动删除委托中VPC Administrator系统角色和VPC FullAccess系统策略的权限,并自动新增如下自定义策略授权委托到最小化权限。 "vpc:subnets:get", "vpc:ports:*"