检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云
直接执行步骤7。 当待导入数据的集群不存在可用的索引时,则需要执行下一步创建索引。 在Kibana执行命令,创建待导入数据的索引,并指定自定义映射来定义数据类型。 例如执行如下命令,创建索引“my_store”。 Elasticsearch版本<7.x的命令 PUT /my_store
2版本的集群支持。 以下示例的查询场景:查询Top10条“my_label”的值为“red”的结果。 前置过滤查询:先执行过滤条件检索,筛选出符合条件的结果;然后,对这些筛选后的候选结果进行向量相似度检索,以找出最相似的向量。 查询示例如下: POST my_index/_search { "size":
使用PuTTY,通过弹性IP登录已创建的跳转主机。 执行如下命令进行端口映射,将发往跳转主机对外开放端口的请求转发到待导入数据的集群中。 ssh -g -L <跳转主机的本地端口:节点的内网访问地址和端口号> -N -f root@<跳转主机的私网IP地址> <跳转主机的本地端口>:为步骤1中的端口。 <节
向量检索的客户端代码示例(Python) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装pytho
对源集群的性能产生影响。因此,建议在业务低峰时段进行数据迁移,以监控源集群CPU和内存的性能指标变化。通过调整迁移速度和选择适宜的迁移时间窗口,可以有效控制性能影响。对于涉及大量数据迁移或资源占用较高的集群,特别推荐在业务低峰期执行数据迁移,以确保源端业务操作不受影响。 约束限制
集群 云搜索服务是以集群为单位进行组织,一个集群代表一个独立运行的搜索服务,由多个节点构成。 索引 用于存储Elasticsearch的数据,是一个或多个分片分组在一起的逻辑空间。 Shard 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求,Elasticsearc
关闭保持常驻。 开启“保持常驻”适用于需要长期运行的业务。开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 响应参数 无 请求示例 POST
通过Reindex API,将源集群的索引数据迁移至目标集群。 方案优势 操作简单:Reindex API作为Elasticsearch的内置功能,提供了一个简单直接的方法来迁移数据,无需复杂的配置或额外的工具。 数据处理灵活:在迁移过程中,可以对数据进行处理,例如调整Mapping、分词、Shard等。
移,适用于CSS服务的Elasticsearch 7.10.2升级至OpenSearch 1.3.6。 数据库数据迁移至Elasticsearch集群 使用DRS从数据库导入数据至Elasticsearch:适用于将MySQL数据库中的数据同步到Elasticsearch集群中。
备份与恢复OpenSearch集群数据 创建快照备份OpenSearch集群数据 恢复OpenSearch集群数据 删除OpenSearch集群快照 父主题: 使用OpenSearch搜索数据
大查询隔离支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。在节点堆内存使用率过高时,触发中断控制程序,根据选择的中断策略将其中一条大查询请求进行中断,取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置,用户可实时配置所有查询请求的超时时间,中断超时查询请求。
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装py
“资源实例”页签中选择的第一个资源实例的节点监控信息。 云服务节点:选择要查看监控信息的集群节点,默认选择当前集群的第一个节点。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自定义的分组。当鼠标悬停在左侧分
使用Elasticsearch搜索数据 Elasticsearch使用流程 Elasticsearch集群规划建议 创建Elasticsearch集群 访问Elasticsearch集群 导入数据至Elasticsearch集群 使用Elasticsearch集群搜索数据 增强Elasticsearch集群搜索能力
指定节点缩容 功能介绍 该接口可以对集群现有节点中指定节点进行缩容。包周期类型的集群不支持通过api进行指定节点缩容操作。 在缩容前,建议备份所有关键数据,以免造成数据丢失。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/cluster
选择“云服务节点”页签,查看集群节点的监控指标。只会显示“资源实例”页签中选择的第一个资源实例的节点监控信息。 云服务节点:选择要查看监控信息的集群节点,默认选择当前集群的第一个节点。支持多选,进行数据对比。 支持设置监控时间,以及查看同一集群的同比/环比数据。 添加视图分组:支持在默认分组的基础上新增自
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
展开本次要变更的节点类型,此处会显示当前节点类型拥有的节点,勾选要下线的节点。 单击“下一步”。 确认变更信息后,单击“提交申请”,在数据迁移弹窗中确认是否进行数据迁移(建议勾选“进行数据迁移”避免数据丢失),单击“确认”提交申请。 数据迁移过程中,系统会把待下线节点中的所有数据分片移动
支持更大规模的数据集和更复杂的查询需求。 冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。