检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。 topk topk的值通常与size保持一致。
于等于所选的AZ数量,否则跨可用区部署会失败。 部署跨AZ集群时,任意类型的节点都会被均匀的分布在不同的AZ上,满足各个AZ之间节点数量的差小于等于1。 当集群中数据节点和冷数据节点的数量和可用区的数量不是整数倍关系时,集群的数据分布可能会不均匀,从而影响数据查询或写入业务。 表1
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建
Elasticsearch集群某一节点分配不到shard 解决方案 使用GET _cluster/allocation/explain?pretty 查看未分配shard。 在console上,选择“cerebro > more > cluster settings ”-,在左上角输入“allocation
断,请谨慎操作。 前提条件 Logstash集群的配置中心有“工作中”的管道任务。 停止全部迁移任务 当需要停止管道列表中全部配置文件的数据迁移任务时,单击管道列表上方的“全部停止”。 根据对话框提示,单击“确定”,停止所有管道的数据迁移任务。 全部停止成功则可以看到管道列表所有任务均停止,且全部管道数据迁移中断。
在风险,并给出风险处理的建议。 场景描述 集群的智能运维支持以下功能: 启动检测任务:通过启动检测任务,触发系统智能诊断集群的健康状况。 查看集群风险项:检测任务完成后,可以查看集群存在的风险项详情,根据风险建议及时处理集群存在的风险。 删除检测任务:当不需要历史所创建的检测任务
查看OpenSearch集群审计日志 公有云平台提供了云审计服务。通过云审计服务,您可以记录与云搜索服务相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
Elasticsearch集群搜索增强特性介绍 云搜索服务的Elasticsearch集群在开源Elasticsearch基础上增加了许多增强特性,增强特性的功能和支持的集群版本请参见表1。 表1 Elasticsearch集群搜索增强特性列表 增强特性 特性描述 支持的集群版本 相关文档 向量检索 向量
容会失败。建议在集群数据量较大的情况下,分多次进行缩容。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
lasticsearch的图形化界面,便于交互验证,因此,这里以Kibana为例介绍将数据导入到Elasticsearch的操作流程。 使用CDM从OBS导入数据到Elasticsearch 使用Logstash导入数据到Elasticsearch 使用Kibana或API导入数据到Elasticsearch
使用Elasticsearch搜索数据 Elasticsearch使用流程 Elasticsearch集群规划建议 创建Elasticsearch集群 访问Elasticsearch集群 导入数据至Elasticsearch集群 使用Elasticsearch集群搜索数据 增强Elasticsearch集群搜索能力
分配。系统均匀分配的节点满足各个AZ之间节点数量的差小于等于1,具体的节点分布情况,包括不同数量的节点如何在各个可用区中分布,可以参考表1。 在创建集群时,选择的节点数量都要大于等于2,否则跨可用区部署会失败。 部署跨AZ集群时,节点会被均匀的分布在不同的AZ上。 表1 节点数量和AZ分布
参见表2。 表2 安全模式的更改场景 场景 相关文档 “非安全模式的集群”切换为“安全模式+HTTP协议的集群” 非安全模式切换为安全模式 “非安全模式的集群”切换为“安全模式+HTTPS协议的集群” “安全模式+HTTP协议的集群”切换为“非安全模式的集群” 安全模式切换为非安全模式
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。
支持7层流量监控及告警配置,方便用户随时查看监控情况。 不同安全模式的集群对接独享型负载均衡器共有8种不同的服务形态,不同服务形态对应的ELB能力如表1所示,8种组合的配置概览如表2所示。 表1 不同集群对应的ELB能力 集群安全模式 ELB最终对外提供的服务形态 ELB负载均衡 ELB流量监控 ELB双向认证
下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和
默认开启,则创建的是安全模式的集群。安全模式的集群会对集群进行通讯加密和安全认证。因此必须配置集群的“管理员账户名”和“管理员密码”。 管理员账户名默认为admin。 设置并确认管理员密码。要记住设置的密码,后续访问集群需要输入密码。 不开启,则创建的是非安全模式的集群。非安全模式的集群无
6集群支持CSS服务的向量检索引擎。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群选择“内存优化型”的计算规格。 集群数据节点或冷数据节点的内存规格要大于16G,否则无法使用CSS服务的向量检索插件,如果需要开启则请联系技术支持。 向量检索的集群规格规划 向量检索的索引构建
表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。 topk topk的值通常与size保持一致。