检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HTTP/HTTPS新建连接数流控通过限制节点新建的连接数来限制节点流量。 开启HTTP/HTTPS节点流控 内存流控 基于节点堆内存使用量限制请求Path,支持设置内存流控白名单、全局内存使用阈值和基于单个Path设置堆内存使用阈值。全局内存流控阈值优先于单个Path内存阈值,白名单配置Path不参与内存流控。
7.10.2 配置Elasticsearch集群存算分离 流量控制2.0 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计
当您在云搜索服务创建集群时,系统将为您提供多种规格以满足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜索,配合超高IO的磁盘
k缓存。缓存配置支持基于业务情况进行修改,配置项请参见表14。 表14 缓存的配置项 配置项 类型 说明 low_cost.obs.blockcache.names Array 缓存系统支持多级缓存,分别用来缓存不同访问粒度的数据。此配置列出所有缓存的名字,即使不配置,系统也会默
在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。 切换冷热数据和存算分离比,更适用于对搜索性能要求高的场景,冷数据存储在集群本地的冷数据节点中,存储的数据量大小依赖冷数据节点数和磁盘容量,存储成本也会比OBS高一些。 只要集群有冷数据节点就支持。 切换OpenSearch集群冷热数据
量化编码时中心点编码的size,默认为1。 基于上述计算方法,可预估出完整向量索引所需堆外内存的大小。选择集群规格时,还需考虑每个节点的堆内存开销。 节点的堆内存分配策略:每个节点的堆内存大小为节点物理内存的一半,且最大不超过31GB。 例如,基于SIFT10M数据集创建GRAPH索引,其“dim”为“
100GB高IO * 3节点 测试步骤 在集群中创建索引模板,指定排序键和关闭聚合增强。 PUT /_template/nyc_taxis { "template": "nyc_taxis*", "settings": { "index.search.turbo.enabled":
当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;当集群有多个节点时,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200,10.62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性
数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和IVF结合,进一步提升系统的容量并降低系统开销,适用于shard中文档数量在十亿级别以上同时对检索性能要求较高的场景。 默认值:GRAPH。
集群的节点数量。 场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源。 缩容随机节点 缩容指定节点 缩容指定节点是通过选择下线具体哪个节点减少集群的“节点数量”,减少集群占用的资源。
由于该方案只适用于接入非安全集群,因此只支持通过内网IP地址的方式访问集群。 准备工作 CSS集群处于可用状态。 确保运行Java代码的服务器与CSS集群的网络是互通的。 确认服务器已安装JDK1.8,JDK1.8官网下载地址:http://www.oracle.com/technetwork/jav
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
自定义词库一般用于中文分词,如果用于英文分词,会按照除“#&+-.@_”外的特殊符号进行切分。 词库文件要满足要求,不同词库的词库文件要求请参见表1。 操作账号必须具有配置自定义词库的权限。可以在IAM服务的“权限管理 > 权限”查看是否有以下权限,如果没有请联系服务管理员添加。 “CSS
单独添加冷数据节点,请在创建集群时合理选择是否启用冷数据节点。 表3 各类节点的适用场景 节点类型 节点功能描述 适用场景 数据节点(ess) 数据节点用于存储数据,当集群没有Master节点和Client节点时,数据节点会同时兼顾这两类节点的功能。 集群必配的节点类型。 当集群
配置OpenSearch集群向量检索 向量检索特性介绍 在OpenSearch集群创建向量索引 在OpenSearch集群使用向量索引搜索数据 优化向量检索写入与查询性能 管理向量索引缓存 向量检索的客户端代码示例(Python) 向量检索的客户端代码示例(Java) 父主题: 增强OpenSearch集群搜索能力
吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。 高可扩展性:支持200+数据节点,支持1000+个数据字段。
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服
不连通,可以配置Logstash集群路由,连通集群间的网络,具体操作请参见配置Logstash集群路由。 启动配置文件 当管道列表没有“工作中”的任务时,通过启动配置文件启动Logstash迁移任务。可以同时选择多个配置文件进行启动操作,一次不能超过50个。 在配置文件列表,选择
tash集群的每个节点上配置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务
S服务基于云监控服务CES,从集群和节点两个维度提供了丰富的监控指标,监控信息通过CES对外提供可视化报表展示。 CSS支持的监控指标请参见支持的监控指标。基于CES的告警能力,可以对指定的监控指标进行阈值告警,如何配置集群的监控告警请参见配置集群监控。 父主题: 安全