检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景 云搜索服务可以帮助网站和APP搭建搜索框,提升用户的搜索体验;也可以用于搭建日志分析平台,助力企业实现数据驱动运维,数据驱动运营;它的向量检索能力可以帮助客户快速构建基于AI的图搜、推荐、语义搜索等丰富的应用。 站内搜索 云搜索服务可用于对网站内容进行关键字检索、对电商网站商品进行检索与推荐。
对向量建立索引结构来绕过不相关的向量,减小需要考察的范围。 降低单个向量计算的复杂度 向量检索支持漏斗模型,先对所有向量进行量化和近似计算,筛选出一定量接近检索目标的数据集,然后基于筛选的数据集进行精细的计算和排序。本方法不需要对所有向量都进行复杂的计算,可以有效提高检索效率。
Elasticsearch向量检索的性能测试和比较 应用场景 云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试,为产品选择和资源配置提供准确的参考依据,本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。
自动设置集群快照的基础配置(不推荐使用) 功能介绍 该接口用于自动设置集群快照的基础配置,包括配置OBS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。
shards:shards个数。total表示总共的个数。failed表示失败的个数。successful表示成功的个数。 执行GET _snapshot/repo_auto/$snapshot-xxx,查询指定快照信息。 $snapshot-xxx需根据实际情况替换为具体的快照名称。 repo_auto后面跟快照名称,也可以跟通配符。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求已成功。 400 非法请求。 建议直接修改该请求,不要重试该请求。 404 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。
集群出现此场景的原因可能是目标集群不支持被恢复的数据中某些数据类型,比如旧集群有安装一些插件或者定义settings,新集群没有,导致的索引分片无法分配。 处理步骤 在Kibana的“Dev Tools”页面,执行命令GET _cluster/allocation/explain?pretty查看索引分片未分配的原因。
负载均衡器的配置状态。 listeners Array of IdListWrapper objects 关联的listener列表。 vip_address String 负载均衡器的IPv4虚拟IP地址。 vip_port_id String 负载均衡器的IPv4对应的port
准化的转换,然后将数据发送到指定的位置。 云搜索服务支持快速创建Logstash集群,华为云Logstash是一款全托管的数据接入处理服务,100%兼容开源Logstash的能力。在生产系统中,数据会以各种各样的形式,或分散或集中地存在于很多系统中。华为云Logstash的出现,
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求已成功。 400 非法请求。 建议直接修改该请求,不要重试该请求。
表1 函数中的变量说明 参数 描述 HOST ES集群的访问地址,当存在多个IP地址时,中间用“,”隔开。 USERNAME 访问集群的用户名。 PASSWORD 用户名对应的密码。 运行代码 根据集群类型将以上适配的代码写入到“EsTest.gc”文件并存放到一个单独的目录,在该目录执行以下命令运行代码。
使用华为云Logstash迁移Elasticsearch集群的Logstash配置文件样例 本文以源端和目的端是相同类型的CSS Elasticsearch集群为例,介绍使用Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时,可以参考本文样例中的input和output模块自由组合出合适的配置文件。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求已成功。 400 非法请求。 建议直接修改该请求,不要重试该请求。
77a3/ai-ops { "name": " aiops-test ", "description": "创建集群检测任务。 ", "alarm":{ "level":"high", "smn_topic":"aiops-test"
参数 参数类型 描述 high Integer 检测项判定为高风险的数量。 medium Integer 检测项判定为中风险的数量。 suggestion Integer 检测项判定为建议的数量。 表6 AIOpsRiskInfo 参数 参数类型 描述 riskType String
ts收集的最大事件数,该值较大通常更有效,但会增加内存开销,默认为125。 batchDelayMs Integer 每个event被pipeline调度等待的最小时间。 单位毫秒。 queueType String 用于事件缓冲的内部队列模型。memory为基于内存的传统队列,
向量检索的客户端代码示例(Java) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7
CSS集群各节点的向量索引查询加载的堆外内存使用量的平均值。 ≥ 0 bytes avg_vector_index_off_heap_usage 平均向量索引堆外内存使用率 CSS集群各节点的向量索引查询加载的堆外内存使用率的平均值。 只有触发向量索引的查询才会触发对应向量索引的查询加载的堆外内存使用率。
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
如何查看CSS集群的分片数以及副本数? 登录云搜索控制台。 在集群管理页面,选择需要查看的集群操作列的Kibana。 登录Kibana界面,选择Dev Tools。 在Dev Tools的Console界面中执行GET _cat/indices?v命令,查询集群分片数和副本数。如