检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
than or equal to: [100000]. ...... 原因分析 当集群每调用一次scroll的创建接口,都会新建一个scroll使用的context,当scroll contexts的数目达到预定值时,将无法继续创建scroll。 处理步骤 执行如下命令,查看“open
配置Elasticsearch集群YML文件默认参数 云搜索服务支持用户修改elasticsearch.yml文件。 配置YML文件 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,根据需求修改对应模块的参数值。
开启Bulk路由优化后(即“index.bulk_routing”设置为“pack”或“ocal_pack”),数据写入不再根据“_id”进行路由,与路由的相关功能使用会受限,例如根据“_id”进行文档GET请求可能失败。 Bulk路由优化 Bulk聚合优化 通过指定配置项“index.aggr_perf
0~100.0% 默认值:50% search.isolator.memory.heap.limit String 当前节点堆内存的实际使用阈值,当节点堆内存使用超过阈值百分比时触发中断控制程序,取消执行隔离池其中一条大查询任务。 取值范围:0.0~100.0% 默认值:90% search
提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。 低基字段分组聚合
备份记录。 前提条件 当智能检测任务完成后需要发送SMN告警通知时,需要先在SMN服务创建主题,操作指导请参见创建主题。同时,需要参考授权使用SMN服务完成SMN服务授权。 启动检测任务 登录云搜索服务管理控制台。 在集群管理页面,单击需要进行智能运维的集群名称,跳转至该集群基本信息页面。
承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。 图1 读写分离特性的两种使用场景 场景一(图左):主集群写入,从集群查询,分离读写压力。 场景二(图右):主集群故障时,从集群升级,正常提供服务,避免业务中断。
存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建7天后,删除该索引。 图1 存算分离 前提条件 CSS集群处于可用状态。 使用OpenSearch 1
blockcache.<NAME>.type ENUM 缓存的类型,支持memory和file。 当使用memory类型的缓存时,会占用一定的内存大小。当使用file类型的缓存时,会使用磁盘作为缓存。建议使用超高IO型的磁盘提升缓存性能。 默认值:memory。 low_cost.obs.blockcache
Elasticsearch集群支持的监控指标 CES中Elasticsearch集群支持的监控指标 Elasticsearch集群内核支持的监控指标 父主题: Elasticsearch集群监控与日志管理
源,所选的负载均衡器必须开启“跨VPC后端”能力才能正常使用。 委托 选择IAM委托,当前账号授权CSS服务访问和使用ELB资源。 当首次配置委托时,可以单击“自动创建委托”新建委托“css-elb-agency”直接使用。 当已有自动创建的委托时,可以单击“委托一键授权”,自动删除委托中“ELB
discovery true 是否禁用节点发现。 es.input.use.sliced.partitions true 是否使用slice分区: true:使用。 false:不使用。 说明: 设置为true,可能会导致索引在预读阶段的时间明显变长,有时会远远超出查询数据所耗费的时间。建议设置为false,以提高查询效率。
查询和管理Elasticsearch集群日志 为了方便用户使用日志定位问题,云搜索服务提供了日志备份、日志采集和日志查询功能。 日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。
0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTP并发连接数限制、HTTP最大连接数限制、基于请求Path的堆内存最大使用量流控能力、基于CPU最大占用率流控能力,一键断流能力,同时也提供节点访问IP统计和URL的采样统计能力。开启流控功能会使请求在入口处直接
elasticsearch.NewClient(cfg) log.Println(es.Info()) } 连接开启https的安全集群,不使用证书,示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
严重时可导致集群崩溃。 分片过多时,如果不能及时掌控业务的变化,可能经常遇到单分片记录超限、写入拒绝等问题。 父主题: CSS集群搜索引擎使用
CSS服务的Elasticsearch集群是否支持script dotProduct? 使用向量功能时,由于原生Elasticsearch向量功能是在x-pack插件中,目前云搜索服务没有集成x-pack组件。因此,Elasticsearch集群原生的script dotProduct无法执行。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
2集群支持索引回收站功能。 当开启回收站之后,使用DELETE API将索引放入回收站时,集群的状态可能会出现短暂的RED,这是由于索引存放至回收站时会将索引CLOSE,在Elasticsearch中CLOSE索引时会出现短暂的RED状态。 当使用还原API从回收站中还原索引时,集群的状
接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: pip install opensearch-py==1