检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 根据任务堆积现象优化客户端写入或查询程序。 根据业务情况,如果集群长期处于高负载状态,则集群会存在写入、查询缓慢,节点频繁掉线等情况。需要根据需要扩容节点规模,或分业务重新规划集群规模。 如果日常使用有95%堆内存波动和节点掉线情况,可根据需要使用流量控制功能。
OpenSearch使用流程 表1 OpenSearch集群的使用流程 任务分类 操作 参考文档 使用 规划集群 在创建OpenSearch集群前,需要先完成集群规划。
原因分析 客户index是单shard,压力承载于单个节点,负载过高,造成队列满后,作业被拒绝。 处理步骤 登录云搜索服务控制台。 选择“集群管理”进入集群管理列表。 选择对应集群操作列“更多”>“Cerebro”。 如果是安全模式集群,需要输入登录账号(admin)和密码。
数据写入流程 图1 数据写入流程 如图1所示,以Elasticsearch集群为例,介绍客户端往Elasticsearch或OpenSearch集群中写入数据的流程。
解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数: “es.batch.write.retry.count”:默认重试3次。
除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库,接口见如下: PUT _snapshot/my_backup { "type" : "obs", "settings" : { "bucket" : "css-backup-name
数据查询流程 图1 数据查询流程 如图1所示,以Elasticsearch集群为例,介绍客户端往Elasticsearch或OpenSearch集群发送查询请求的流程。
curl -s 'http://<节点内网访问地址>:9200' 原因分析 在“使用VPN专线访问CSS集群”或“通过VPC的对等连接访问CSS集群”场景下,其所在的客户端与CSS不在同一VPC下。因此,要求CSS集群的子网与其VPC具有不同的网段。
为了防止客户误操作导致数据被删除,CSS提供了索引回收站功能,支持将删除的索引存放到回收站中,且支持从回收站中还原索引,进而提升集群的数据可靠性。 约束限制 仅Elasticsearch 7.10.2集群支持索引回收站功能。
支持10余种数据呈现方式 支持近20种数据统计方式 支持时间、标签等各种维度分类 Cerebro Cerebro是使用Scala、Play Framework、AngularJS和Bootstrap构建的基于Elasticsearch Web的开源可视化管理工具。
Elasticsearch使用流程 表1 Elasticsearch集群的使用流程 任务分类 操作 参考文档 使用 规划集群 在创建Elasticsearch集群前,需要先完成集群规划。
集群 通过Python客户端接入Elasticsearch集群 通过MRS Hive客户端接入Elasticsearch集群 通过Go客户端接入Elasticsearch集群 通过LDAP接入Elasticsearch集群 父主题: 使用Elasticsearch搜索数据
客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。
Logstash使用流程 表1 Logstash集群的使用流程 任务分类 操作 参考文档 使用 规划集群 在创建Logstash集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点数量与规格,以确保集群的稳定性和性能。
配置OpenSearch集群向量检索 向量检索特性介绍 在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强
通过MRS Hive客户端接入Elasticsearch集群 Go客户端 通过Go语言访问与管理Elasticsearch集群。
配置Elasticsearch集群向量检索 向量检索特性介绍 在Elasticsearch集群创建向量索引 在Elasticsearch集群使用向量索引搜索数据 在嵌套字段中使用向量索引 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例
下单订购后,是否自动从客户的华为云账户中支付,而不需要客户手动去进行支付。该参数适用于包周期集群。
向量检索支持原生Elasticsearch的所有能力,包括分布式、多副本、错误恢复、快照、权限控制等;兼容所有原生Elasticsearch生态,包括集群监测工具Cerebro,可视化工具Kibana,实时数据采集工具Logstash等;提供Python/Java/Go/C++等多种客户端语言支持
下单订购后,是否自动从客户的华为云账户中支付,而不需要客户手动去进行支付。该参数适用于包周期集群。