检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能，将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS，以此降低数据的存储成本。 对于有海量数据写入和存储的场景，数据有明显的冷热区分，新写入的数据一般属于热数据，存储在SSD中方
云搜索服务的向量检索引擎提供了全托管、高性能的分布式向量数据库服务。为了方便用户在业务场景进行向量搜索的性能压力测试，为产品选择和资源配置提供准确的参考依据，本文提供了基于开源数据集和开源压力测试工具的Elasticsearch向量检索的性能测试方案。 配置测试环境 创建Elasticsearch向量数据库。 参考
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个Elasticsearch非安全集群用于搜索数据。 步骤2：导入数据：在Kibana上使用开源Elasticsearch API导入数据。 步骤3：搜索数据：在Elas
向量检索支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。 原理说明 向量检索从本质上讲，其思维框架和传统的检索方法没有区别。为了提升向量检索的性能，通常需要解决以下两个问题： 减少候选向量集 和传统的文本检索类似，向量检索也需要某种索引结构来避免在全量的数据上做匹配，传统文
询需求。 实时数据同步：通过华为云数据复制服务DRS，可以实现MySQL数据库中的数据实时同步到Elasticsearch，确保数据的一致性和实时性。 简化的数据迁移和索引创建：在Elasticsearch中，可以创建与MySQL数据库表结构相对应的索引，简化了数据迁移和索引管理的复杂性。
通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过CSS服务的读写分离插件可以实现华为云Elasticsearch集群间的数据迁移。 应用场景 7.6.2和7.10.2版本的华为云Elasticsearch集群默认安装了CSS服务的读写分离插件，通过配置读写
Logstash是一个开源数据收集引擎，具有实时管道功能。在ELK整个生态中，Logstash承担着数据接入的重要功能，可以动态地将来自不同数据源的数据统一起来，进行标准化的转换，然后将数据发送到指定的位置。 云搜索服务支持快速创建Logstash集群，华为云Logstash是一款全托管的数据接入处
过滤（Filter）：华为云Logstash对数据进行清洗和转换。 输出（Output）：华为云Logstash将数据输出到目标设备，如华为云Elasticsearch。 根据业务需求，可以选择全量数据迁移或增量数据迁移。 全量数据迁移：使用Logstash进行全量数据迁移，适用于迁移初期或需要确保数据完整性的场景。
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面，将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中，数据文件支持JSON格式。 表1 使用CDM导入数据至CSS服务 数据导入场景
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时，需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时，需要获取OBS的访问域名、端口，以及AK、SK。 当源数据是Oracle数据库时，需要确保Oracle可通过
图1 项目隔离模型 Checkpoint：消费检查点。应用程序消费数据时，记录已消费数据的最新序列号作为检查点。当重新消费数据时，可根据此检查点继续消费。 APP：应用程序标识符。当多个应用程序分别消费同一通道的数据时，为区分不同应用程序的消费检查点，使用APP作为标识。 企业项目
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点，支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据，可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据，对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本，提升搜索效率。
earch SQL语句可以查询数据，也可以“Download”导出数据，支持自定义导出1~200条数据，缺省导出200条数据。 Elasticsearch SQL语句请参见查询Elasticsearch SQL 图1 SQL Workbench 父主题： 产品咨询
快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时，则无法恢复集群数据。 用于恢复的目标集群版本不得低于源集群版本，一般保持版本一致即可。 前提条件 快照管理列表中有“快照状态”为“可用”的快照。快照存储在OBS桶中需要额外收费，具体收费请参见OBS计费说明。 恢复数据 登录云搜索服务管理控制台。
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点，支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据，可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据，对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本，提升搜索效率。
1 通过华为云对象存储迁移服务OMS将快照数据从存储仓库迁移到对象存储服务OBS的“esbak”桶中。 OMS支持多种云服务商数据迁移到对象存储服务OBS中，具体请参见各云服务商迁移教程。 在OMS创建迁移任务时，“元数据迁移方式”一定要选择“保留元数据”，否则数据迁移会有异常。
以下是使用OpenSearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个OpenSearch非安全集群用于搜索数据。 步骤2：导入数据：在OpenSearch Dashboards上使用开源Elasticsearch API导入数据。 步骤3
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时，则无法恢复集群数据。 用于恢复的目标集群版本不得低于源集群版本，一般保持版本一致即可。 前提条件 快照管理列表中有“快照状态”为“可用”的快照。快照存储在OBS桶中需要额外收费，具体收费请参见OBS计费说明。 恢复数据 登录云搜索服务管理控制台。
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全： 网络隔离 整个网络划分为2个平面，即业务平面和管理平面。两个平面采用物理隔离的方式进行部署，保证业务、管理各自网络的安全性。 业务平面：主要是集群的网络平面，支持为用户提供业务通道，对外提供数据定义、索引、搜索能力。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
