检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除logstash中的x-pack目录。 修改logstash配置文件output标签下elasticsearch内添加配置项ilm_enabled => false。 重新尝试推送数据到es。 父主题: 数据导入导出类
安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTPS协议进行通信加密,使数据更安全。 有非常高的安全要求,且需要公网访问集群的场景。 优点:访问集群需要安全认证,提升了集群安全性,且HTTPS协议的通讯加密可以实现集群公网访问功能。 缺点:通过HTTPS协议访问集群,集群的读取性
使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。 约束限制
安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTPS协议进行通信加密,使数据更安全。 有非常高的安全要求,且需要公网访问集群的场景。 优点:访问集群需要安全认证,提升了集群安全性,且HTTPS协议的通讯加密可以实现集群公网访问功能。 缺点:通过HTTPS协议访问集群,集群的读取性
安全模式+HTTPS协议的集群 获取安全证书(CloudSearchService.cer)。 登录云搜索服务控制台。 选择“集群管理”进入集群列表。 单击对应集群的名称,进入集群基本信息页面。 在“基本信息”页面,单击“HTTPS访问”后面的“下载证书”。 图2 下载证书 转换安
Logstash集群规划建议 规划集群可用区 为防止数据丢失,并确保在服务中断情况下能降低集群的停机时间,从而增强集群的高可用性,CSS服务支持跨可用区(即多可用区)部署。用户可以在同一个区域内选择两个不同的可用区进行集群部署。 在创建集群时,如果用户选择了两个可用区,CSS服务
通过Reindex API,将源集群的索引数据迁移至目标集群。 方案优势 操作简单:Reindex API作为Elasticsearch的内置功能,提供了一个简单直接的方法来迁移数据,无需复杂的配置或额外的工具。 数据处理灵活:在迁移过程中,可以对数据进行处理,例如调整Mapping、分词、Shard等。
重启集群 功能介绍 此接口用于重启集群,重启集群将导致业务中断。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/cluster
= elasticsearch.NewClient(cfg) log.Println(es.Info()) } 连接开启https的安全集群,不使用证书,示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
ndjson”文件。 图5 上传文件 上传完成选择“done”,索引监控图表即导入成功。 图6 索引监控图表导入成功 kibana-monitor配置文件 kibana-monitor配置文件内容如下,建议保存为“monitoring-kibana.ndjson”文件。 {"att
Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。
Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency>
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch 1
当OBS桶使用SSE-KMS加密模式时,委托中需要包含KMS的权限,“自动创建委托”和“委托一键授权”会自动增加如下自定义策略授权委托到最小化权限。 "kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt"
Management)是一个索引状态管理插件,支持通过索引使用期限、索引大小或文档数等信息的变化来自动触发周期性的管理操作。通过ISM插件可以自定义索引策略,实现自动处理索引的滚动或删除,以优化集群搜索性能或降低存储成本。ISM的使用流程: 创建生命周期策略:在Kibana创建索引的生命周期策略Policy。
参数类型 描述 bucket_name 是 String 证书文件存放的OBS桶(桶类型必须为标准存储或者低频存储,不支持归档存储)。 certs_object 是 String 证书文件对象。证书文件大小不能超过1M。证书名称在4位到32位之间,必须以字母开头,以(.cer|.crt|
前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群管理列表界面。 在
容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格
项目ID。获取方法请参见获取项目ID和名称。 cluster_id 是 String 指定删除证书文件的集群ID。 cert_id 是 String 指定删除的证书文件ID。 请求参数 无 响应参数 无 请求示例 删除指定集群证书文件。 DELTET /v1.0/6204a5bd270343b58851
在配置中心界面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 图7 配置任务 表5 创建配置文件参数说明 参数 说明 取值样例 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线,且必须以字母开头。必须大于等于4个字符。 es-es 配置文件内容 展开上方“系统模板”,选择