检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个Elasticsearch非安全集群用于搜索数据。 步骤2：导入数据：在Kibana上使用开源Elasticsearch API导入数据。 步骤3：搜索数据：在Elas
询需求。 实时数据同步：通过华为云数据复制服务DRS，可以实现MySQL数据库中的数据实时同步到Elasticsearch，确保数据的一致性和实时性。 简化的数据迁移和索引创建：在Elasticsearch中，可以创建与MySQL数据库表结构相对应的索引，简化了数据迁移和索引管理的复杂性。
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能，将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS，以此降低数据的存储成本。 对于有海量数据写入和存储的场景，数据有明显的冷热区分，新写入的数据一般属于热数据，存储在SSD中
在目标集群配置索引自动同步，实现源集群的数据自动同步到目标集群。同步周期默认是30秒，支持修改。 查询自动同步状态，确认集群数据是否迁移完成。 更多关于CSS服务的读写分离功能的介绍请参见配置Elasticsearch集群读写分离。 方案优势 数据一致性高：利用读写分离的主从复制机制，确保数据在不同分片之间的同步，提高数据的一致性
根据业务需求，可以选择全量数据迁移或增量数据迁移。 全量数据迁移：使用Logstash进行全量数据迁移，适用于迁移初期或需要确保数据完整性的场景。 增量数据迁移：通过Logstash配置增量查询，可以只迁移有增量字段的索引数据。此方法适用于需要持续同步数据或对数据实时性有较高要求的场景。
earch SQL语句可以查询数据，也可以“Download”导出数据，支持自定义导出1~200条数据，缺省导出200条数据。 Elasticsearch SQL语句请参见查询Elasticsearch SQL 图1 SQL Workbench 父主题： 产品咨询
以下是使用OpenSearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个OpenSearch非安全集群用于搜索数据。 步骤2：导入数据：在OpenSearch Dashboards上使用开源Elasticsearch API导入数据。 步骤3
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全： 网络隔离 整个网络划分为2个平面，即业务平面和管理平面。两个平面采用物理隔离的方式进行部署，保证业务、管理各自网络的安全性。 业务平面：主要是集群的网络平面，支持为用户提供业务通道，对外提供数据定义、索引、搜索能力。
启动pipeline迁移数据 功能介绍 该接口用于启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/start 表1 路径参数 参数 是否必选 参数类型
登录部署了Logstash的服务器，将需要进行操作的数据文件存储至此服务器中。 例如，需要导入的数据文件“access_20181029_log”，文件存储路径为“/tmp/access_log/”，此数据文件中包含的数据如下所示： 文件存储路径中的access_log文件夹如果不存在，用户可以自建。
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时，需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时，需要获取OBS的访问域名、端口，以及AK、SK。 当源数据是Oracle数据库时，需要确保Oracle可通过
快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时，则无法恢复集群数据。 用于恢复的目标集群版本不得低于源集群版本，一般保持版本一致即可。 前提条件 快照管理列表中有“快照状态”为“可用”的快照。快照存储在OBS桶中需要额外收费，具体收费请参见OBS计费说明。 恢复数据 登录云搜索服务管理控制台。
停止pipeline迁移数据 功能介绍 该接口用于停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/stop 表1 路径参数 参数 是否必选 参数类型
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
Dashboards上使用开源OpenSearch API导入数据：使用POST命令导入数据。 在ECS服务器上使用开源OpenSearch API导入数据：使用Curl命令导入数据。 在OpenSearch Dashboards上使用开源OpenSearch API导入数据 在OpenSearch Dash
使用OpenSearch搜索数据 OpenSearch使用流程 OpenSearch集群规划建议 创建OpenSearch集群 访问OpenSearch集群 导入数据至OpenSearch集群 使用OpenSearch集群搜索数据 增强OpenSearch集群搜索能力 配置OpenSearch集群网络
数据导入导出类 Elasticsearch显示CPU使用率高，导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点，支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据，可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据，对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本，提升搜索效率。
登录部署了Logstash的服务器，将需要进行操作的数据文件存储至此服务器中。 例如，需要导入的数据文件“access_20181029_log”，文件存储路径为“/tmp/access_log/”，此数据文件中包含的数据如下所示： 文件存储路径中的access_log文件夹如果不存在，用户可以自建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
