创建一个按需收费的Elasticsearch集群 本节通过调用云搜索服务的API创建CSS服务集群,CSS的接口调用流程如图1所示。 图1 接口调用流程 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API
配置Elasticsearch集群读写流量控制策略2.0 场景描述 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和U
户可以基于统计值识别客户端IP的访问流量和分析哪些请求Path访问量大。 开启请求采样统计 一键断流 可以切断节点的所有访问流量,不包括kibana访问和elasticsearch monitor类接口。 开启一键断流 流量控制 提供单独的流量统计查看接口,记录触发流控的数量,用
成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。 大查询隔离 云搜索服务的大查询隔离特
直接删除源集群。暂停源集群的业务可以采用如下方式处理: 如果使用的集群版本支持流量控制功能,可以开启一键断流切断节点上除运维接口外的所有流量,拒绝所有请求。 如服务管理控制果使用的集群版本不支持流量控制功能,可以关闭所有业务索引的读写。例如所有业务索引以log开头,在Kibana的“Dev
要扩容节点规模,或分业务重新规划集群规模。 如果日常使用有95%堆内存波动和节点掉线情况,可根据需要使用流量控制功能。更多信息,请参见配置ELasticsearch集群读写流量控制策略。 父主题: 功能使用类
在Elasticsearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段,提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size(topk)条数据。
缩容Elasticsearch集群 当Elasticsearch集群具备充足资源处理当前负载、业务处于流量低谷期或数据量减少时,可通过减少节点数量实现集群缩容以节省资源。 表1 缩容场景介绍 缩容类型 适用场景 变更流程 缩容随机节点 基于节点类型随机下线节点,减少集群的节点数量,节省资源。
通过VPC安全组来确保VPC内主机的安全。 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 数据安全 在云搜索服务中,通过多副本、集
配置Elasticsearch集群向量检索 配置Elasticsearch集群存算分离 配置Elasticsearch集群读写流量控制策略2.0 配置Elasticsearch集群读写流量控制策略1.0 配置Elasticsearch集群大查询隔离 配置Elasticsearch集群聚合增强 配置Elasticsearch集群读写分离
配置Elasticsearch集群存算分离 流量控制2.0 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和URL的统计能力。开启客户端写入流量反压控制功
缩容OpenSearch集群 当OpenSearch集群具备充足资源处理当前负载、业务处于流量低谷期或数据量减少时,可通过减少节点数量实现集群缩容以节省资源。 表1 缩容场景介绍 缩容类型 适用场景 变更流程 缩容随机节点 基于节点类型随机下线节点,减少集群的节点数量,节省资源。
问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。
息。 表5 配置监听器 参数 配置说明 前端协议 客户端与负载均衡监听器建立流量分发连接的协议。支持选择“HTTP”或“HTTPS”。 根据实际业务需要选择协议。 前端端口 客户端与负载均衡监听器建立流量分发连接的端口。 根据实际业务需要自定义。 SSL解析方式 客户端到服务器端
性能独享型负载均衡器的收费类型。 按需计费 区域 选择CSS集群所在的区域。 - 跨VPC后端 开启跨VPC后端才能连接CSS集群。 开启 网络类型 负载均衡器对外提供服务所使用的网络类型。 CSS服务支持“IPv4私网”和“IPv6网络”。 当选择“IPv6网络”时,CSS服务对接
允许Logstash获取和输入数据。 验证网络连通性:确认数据源和Logstash的网络是否连通。 配置集群路由有以下优势: 提升跨VPC通信性能:通过路由表直接指定流量路径,避免绕行公网。 安全通信保障:基于VPC对等连接实现私有网络互通,数据不经过公网。 灵活管理访问策略:可自定义开放特定子网的访问权限。
当现有的Logstash节点处理能力达到瓶颈,无法满足日益增长的数据量时,升级节点规格可以提供更多的计算资源和存储空间,从而提高整体的处理性能。 在流量高峰期,为了及时处理增加的数据,可以通过升级Logstash节点规格来提高处理能力。 变更节点规格也支持将大规格降低为小规格,但是此变更会
问题分析定位。 日志采集可以实时将集群的日志存放到CSS集群中,方便通过Kibana进行日志搜索分析。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。
日志备份可以定期将集群的日志存储在OBS桶中,通过OBS可以直接下载需要的日志文件,进行问题分析定位。 日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。
OpenSearch集群路由打通网络。 图1 配置集群路由 建立VPC对等连接:打通两个VPC之间的网络。 配置OpenSearch集群路由:在OpenSearch集群中添加客户端的路由信息,允许集群访问客户端。 验证网络连通性:启动业务确认网络连通性。 配置集群路由有以下优势:
您即将访问非华为云网站,请注意账号财产安全