检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Elasticsearch 7.x版本中,去掉了type概念,在7.x及以后的版本中,index都不再支持创建type。 如果需要强制使用,可以在命令中添加“include_type_name=true”强制使用type类型,且只支持单type。 PUT index?include_type_name=true
在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro
Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/
调用API获取集群ID 集群ID可以通过调用查询集群列表API接口获取。 获取集群ID的接口为“GET https://{Endpoint}/v1.0/{project_id}/clusters”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取;项目ID参见
OpenSearch集群导入数据方式 OpenSearch集群导入数据方式介绍 OpenSearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操作请参见增强OpenSearch集群数据导入性能。
filebeat是性能非常出色的文件采集工具,绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内,但是个别日志量大的业务日志无法及时收集,按照官方的默认配置通常1核CPU分配给filebeat时,写ES的速率低于1M/S,这里可以针对filebeat.yml配置文件做优化,提高写入ES的性能。 原因分析
Search Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CSS服务的其它功能。 默认情况
Elasticsearch集群导入数据方式介绍 Elasticsearch集群支持通过多种方式导入数据,基于业务使用场景可以自行选择导入数据的方式,具体请参见表1。在导入数据前可以根据需要选择是否对Elasticsearch集群进行导入性能增强,具体操作请参见增强Elasticsearch集群数据导入性能。
修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 您也可以通过这个视频教程了解AK/SK认证的使用:https://bbs
集群间数据迁移 通过CSS服务的读写分离插件可以实现华为云Elasticsearch集群间的数据迁移。 应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了CSS服务的读写分离插件,通过配置读写分离可以实现Elasticsearch集群间的索引数据近实时同步。
支持不同VPC之间的数据迁移? 在CSS服务中,实现不同虚拟私有云(VPC)环境下的Elasticsearch集群迁移,可以通过以下两种方法: 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二: 打通VPC网络,建立对等连接。具体操作请参见对等连接简介。
在集群管理页面,选择需要退订的集群。 在操作列单击“更多 > 退订/释放”。 在“退订集群”对话框中,输入“YES”,单击“确定”。 进入退订资源页面,可以在该页面核对资源信息以及退费金额。 填写退订原因,勾选相关协议后,单击“退订”。 在弹出确认退订提示信息后,再次单击“退订”。 删除按需计费集群
sticsearch集群时,可以跳过本文直接使用默认CA证书,当连接其他需要安全认证的数据源时,则需要参考文本配置自定义证书。 场景描述 当Logstash集群连接安全模式+HTTPS协议的Elasticsearch集群时,CSS预置的默认CA证书可以用于信任该服务端。Logstash集群支持查看默认证书。
情况影响,如果此时集群负载较高,耗时将会更久。可以通过上述章节的查询单个快照信息查询正在执行的快照情况。 执行GET _snapshot/repo_auto/snapshot-name,可以看到剩余还需要完成的shard个数,也可以通过删除快照接口提前终止。 解决方法:等待或者提前终止。
当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除,这时快照列表中自动创建的快照可以手动删除。如果
当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除,这时快照列表中自动创建的快照可以手动删除。如果
Replica(副本) Shard下的实际存储索引的一个副本。可以理解为备份Shard。副本的存在可以预防单节点故障。使用过程中,您可以根据业务情况增加或减少Replica数量。 文档 Elasticsearch存储的实体,是可以被索引的基本单位,相当于关系型数据库中的行。 文档类型
允许全部用户访问该集群。 单击操作列的“删除”,可以删除不允许访问的账号ID。 说明: “授权账号ID”可以在“我的凭证”中进行查看“账号ID”获取。 已有集群开启终端节点服务 如果创建集群时未开启终端节点服务,集群创建成功后,可以通过如下步骤进行开启。 登录云搜索服务管理控制台。
允许全部用户访问该集群。 单击操作列的“删除”,可以删除不允许访问的账号ID。 说明: “授权账号ID”可以在“我的凭证”中进行查看“账号ID”获取。 已有集群开启终端节点服务 如果创建集群时未开启终端节点服务,集群创建成功后,可以通过如下步骤进行开启。 登录云搜索服务管理控制台。
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。对于包含多条向量数据的文档,查询时任意一条向量数据与查询向量相似便会返回该条文档。