检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
假设某个索引,其每天约产生2.4TB的数据,索引别名“log-alias”,其数据在集群中的组织形态如下图所示。查询时,指向所有test开头的索引;写入时,指向最新的索引。 图1 log-alias的组织形态 索引的滚动条件1天是以索引的创建时间来计算的,并不是完整自然日区分的。 前提条件 CSS集群处于可用状态。
表示关闭自动创建快照策略时,是否需要清除所有自动创建的快照。 默认为“false”,表示不会删除之前已自动创建的快照。 设置为true,表示在关闭自动创建快照策略的同时,删除所有已创建的快照。 frequency 否 String 自动创建快照的执行频次。 说明: 默认值DAY,取值HOU
num_routing_shards) / routing_factor 其中num_routing_shards可以由以下配置指定。 index.number_of_routing_shards 如果不显式指定,则Elasticsearch会自动计算该值,以达到对索引进行split的能力。 Refresh时机变化
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
仅安全模式+HTTPS协议的集群才支持启用公网访问。 配置OpenSearch集群公网访问 公网 独享型负载均衡实例的公网IP地址 通过独享型负载均衡实例分配集群的节点数据。适用于对性能要求高的场景。 在云搜索服务管理控制台,单击左侧导航栏的“集群管理”。 在集群管理列表页面,单击需要访问的集群名称,进入集群基本信息页面。
"query": "SELECT * FROM my-index LIMIT 50" } 默认情况下,查询结果返回的是JSON格式的数据。当需要返回CSV格式的数据时,则需要在命令中对format参数进行如下设置: 1 2 3 4 POST _opendistro/_sql?format=csv
性能说明 通过Elasticsearch官方提供的benchmark脚本rally1.0.0,对云搜索服务的集群(版本:7.6.2) 进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明
Logstash是一个服务器端的数据管道,负责收集、解析和丰富数据后,将其发送到Elasticsearch。 Kibana为Elasticsearch提供一个开源的数据分析和可视化平台,用于对Elasticsearch中的数据进行搜索、查看和交互。 Beats:轻量级的数据收集器(如File
使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。 约束限制
登录云搜索服务管理控制台。 在“集群管理 > OpenSearch”页面选择需要登录的集群,单击操作列中的“Kibana”登录OpenSearch Dashboards。 在Dashboards页面,选择左侧导航栏的“菜单 > Alerting”。 新建一个SMN目的端用于发送告警消息。
向量检索的客户端代码示例(Java) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7
够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_
支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。 OpenSearch集群导入数据方式 搜索数据 CSS服务推荐使用DSL语言在OpenSearch集群中搜索数据,同时也支持使用SQL语言进行数据搜索。 使用DSL语言在OpenSearch中搜索数据
场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
llis、end_time、end_time_in_millis:快照时间。 shards:shards个数。total表示总共的个数。failed表示失败的个数。successful表示成功的个数。 执行GET _snapshot/repo_auto/$snapshot-xxx,查询指定快照信息。
在集群列表页单击“导出”可以下载全量的集群列表信息。 表1 集群列表说明 参数 描述 名称/ID 展示集群的名称和ID。单击集群名称可进入集群“基本信息”页面,展现了集群的基本信息。集群ID是系统自动生成的,是集群在服务中的唯一标识。 集群状态 展示集群的运行状态。 可用:正常运行的集群。 创建中:正在创建中的集群。
功能使用类 无法备份索引 无法使用自定义词库功能 快照仓库找不到 集群一直处于快照中 数据量很大,如何进行快照备份? 集群突现load高的故障排查 使用ElasticSearch的HLRC(High Level Rest Client)时,报出I/O Reactor STOPPED
通过ESM实现Elasticsearch集群间数据迁移 应用场景 ESM(Elasticsearch Migration Tool)是一个开源的Elasticsearch集群迁移工具。它支持不同版本的Elasticsearch之间的数据迁移,并且可以通过配置Scroll API的参数来控制迁移速率,以适应不同的网络环境
CSS服务中如何重置安全集群的管理员密码? 访问Elasticsearch集群时9200和9300端口是否都开放? 如何使用NAT网关实现CSS服务公网访问? 自建Kibana如何对接CSS服务的Elasticsearch集群? 自建OpenSearch Dashboards如何对接CSS服务的OpenSearch集群?