检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash部署在弹性云服务器上时导入数据示意图 确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的9200端口的外网访问权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑
CSS服务中单节点的使用率过高是否会影响集群的业务? 问题现象 查看集群监控发现,Elasticsearch集群“磁盘使用率”达到80%以上,用户担心单节点使用率过高会对集群业务产生影响。 业务影响 单节点使用率超过85%:无法为新副本分配空间,但是新的主分片仍然可以被分配,从而
LDAP认证 在OpenSearch集群中配置轻量目录访问协议LDAP认证,实现相应角色的LDAP用户接入OpenSearch集群。 通过LDAP接入OpenSearch集群 网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取
取值范围:(0, 100000]。 复合查询 向量检索支持与其他Elasticsearch子查询组合进行复合查询,包括前置过滤查询、布尔查询等方式。 前置过滤查询仅Elasticsearch 7.10.2版本的集群支持。 以下示例的查询场景:查询Top10条“my_label”的值为“red”的结果。
all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值),另外被rejected的http请求ES-Hadoop是有重试机制的,可修改以下参数:
在Elasticsearch集群中配置轻量目录访问协议LDAP认证,实现相应角色的LDAP用户接入Elasticsearch集群。 通过LDAP接入Elasticsearch集群 网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网
CSS服务中为什么新创建的索引分片集中分配到单节点上? 原因分析 新建索引分片被集中分配于一个node节点上可能有以下原因: 之前索引的分配导致某个节点上的shards数量过少,新建索引shards分配被balance.shard参数主导,为了平衡所有索引的全部分片,将shards集中分配在数量过少的节点上。
通过Go客户端接入Elasticsearch集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群 连接非安全集群,示例代码如下:
约束限制 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 集群的Master节点和Client节点的存储容量不支持扩容。 当一个集群包含的节点类型不同时,各节点类型支持的节点数量不同,扩容节点数量时请参考表2。
约束限制 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。 包周期集群不支持同时扩容“节点数量”和“节点存储容量”。 集群的Master节点和Client节点的存储容量不支持扩容。 当一个集群包含的节点类型不同时,各节点类型支持的节点数量不同,扩容节点数量时请参考表2。
7.x版本中,去掉了type概念,在7.x及以后的版本中,index都不再支持创建type。 如果需要强制使用,可以在命令中添加“include_type_name=true”强制使用type类型,且只支持单type。 PUT index?include_type_name=true
文检索,而Elasticsearch可以有效地解决这一问题。 高并发Ad Hoc查询:Elasticsearch设计用于处理大量的并发查询请求,特别是在Ad Hoc查询场景下,它能够提供快速的响应时间,从而满足高并发环境下的查询需求。 实时数据同步:通过华为云数据复制服务DRS,
单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能力,同时也提供节点访问IP统计和URL的采样统计能力。开启流控功能会使请求在入口处直接阻塞,可以缓解节点高并发场景下的集群压力,降低P99时延,减少节点不可用的风险。
ELB双向认证 非安全 无认证 支持 支持 不支持 单向认证 双向认证 支持 支持 支持 安全+HTTP 密码认证 支持 支持 不支持 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 安全+HTTPS 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 表2 不同集群对接ELB的配置概览
ELB双向认证 非安全 无认证 支持 支持 不支持 单向认证 双向认证 支持 支持 支持 安全+HTTP 密码认证 支持 支持 不支持 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 安全+HTTPS 单向认证+密码认证 双向认证+密码认证 支持 支持 支持 表2 不同集群对接ELB的配置概览
Reindex API支持以下迁移策略: 全量迁移:实现跨集群的完整索引数据迁移。在此过程中,必须暂停对源集群的写入操作,以确保源集群与目标集群数据的一致性。 增量迁移:当集群索引包含时间字段时,Reindex API支持基于时间戳的增量数据迁移。在业务切换阶段,全量迁移完成后,需暂停源集群的写入操作,并利用Reindex
memory”怎么办? 迁移过程中出现报错“out of memory”, 表示迁移虚拟机内存溢出,有如下解决方案: 可能是ECS虚拟机的配置不够,建议升级ECS规格,操作指导请参见变更单台ECS规格。 调整ESM的迁移速度,通过在迁移命令中减小“buffer_count”参数,限制内存中的文档数量。
力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。 高可扩展性:支持200+数据节点,支持1000+个数据字段。 业务“0”中断:规格变更、配置更新采用滚动重启,双副本场景下业务0中断。 图3 数据库查询加速场景 向量检索 云搜索服务支持对图像、视频、语
preserve_existing=true { "index.max_result_window" : "10000000" } 方法2: 在服务器执行如下命令进行设置(以非安全集群为例): curl -k –XPUT ‘http://localhost:9200/_all/_setting
和传统的文本检索类似,向量检索也需要某种索引结构来避免在全量的数据上做匹配,传统文本检索是通过倒排索引来过滤掉无关文档,而向量检索是通过对向量建立索引结构来绕过不相关的向量,减小需要考察的范围。 降低单个向量计算的复杂度 向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于