检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
升级Elasticsearch集群版本 数据库数据迁移至Elasticsearch集群 数据复制服务DRS 适用于将MySQL数据库中的数据同步到Elasticsearch集群中。一般用于集群间的数据增量迁移，在数据同步后集群随时可割接，较其他增量迁移更加方便灵活。 不同数据库来源的迁移方式和使用约束请参见相关文档。
负责收集和转发数据到Logstash。 使用Elasticsearch和Logstash构建日志管理平台的方案架构如图1所示。 图1 ELKB架构 数据收集 Beats作为数据收集器，负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据，或从Beats接收数据，对数据进行过滤、转换和增强。
Elasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云
过滤（Filter）：华为云Logstash对数据进行清洗和转换。 输出（Output）：华为云Logstash将数据输出到目标设备，如华为云Elasticsearch。 根据业务需求，可以选择全量数据迁移或增量数据迁移。 全量数据迁移：使用Logstash进行全量数据迁移，适用于迁移初期或需要确保数据完整性的场景。
询需求。 实时数据同步：通过华为云数据复制服务DRS，可以实现MySQL数据库中的数据实时同步到Elasticsearch，确保数据的一致性和实时性。 简化的数据迁移和索引创建：在Elasticsearch中，可以创建与MySQL数据库表结构相对应的索引，简化了数据迁移和索引管理的复杂性。
"index_name" //目标集群的索引名称 } } 常见问题：当索引数据大、数据同步慢时，如何处理？ 当索引数据大、数据同步慢时，有如下几种方案可以提高效率。 Reindex API是使用Scroll方式读取源端数据写入目标端，因此可以通过配置size和slice参数增加迁移并发和速度。具体使用指导请参见Reindex
数据导入导出类 Elasticsearch显示CPU使用率高，导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个Elasticsearch非安全集群用于搜索数据。 步骤2：导入数据：在Kibana上使用开源Elasticsearch API导入数据。 步骤3：搜索数据：在Elas
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
CSS服务中Kibana是否支持导出数据功能？ Elasticsearch 7.10.2版本（镜像版本号大于或等于7.10.2_24.3.3_*）的Kibana支持一键导出CSV格式的数据。 导出的数据不能超过10MB，当数据超过10M时，仅导出前面10M数据。 当数据中存在“=+-@”等特殊
集群索引插入数据失败 问题现象 向CSS集群索引中插入数据失败，报错如下： 问题分析 当磁盘的使用率超过95%时，Elasticsearch为了防止节点耗尽磁盘空间，自动将索引设置为只读模式。 解决方案 新版本（7.10.2之后）集群磁盘使用率下降后会自动关闭只读模式，只需清理或扩容磁盘。
99 结论：对于不同的数据集，使用默认参数均能达到99%以上的召回率。在进一步调整构建参数和查询参数后，增加了一定的索引构建开销，同时也达到更高的查询性能。 测试方案二：使用同一数据集，通过调整索引参数，测试不同召回率下的查询性能。本方案用COHERE数据集，分别测试了Top10
“pack”：单个Bulk请求的数据会被随机路由到同一个shard中。 “local_pack”：单个Bulk请求的数据会被路由到接收该Bulk请求的数据节点的本地shard中，如果该节点不包含对应index的shard，则会进行随机路由到其他包含该索引shard节点上。该方案依赖客户端Bulk
以下是使用OpenSearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个OpenSearch非安全集群用于搜索数据。 步骤2：导入数据：在OpenSearch Dashboards上使用开源Elasticsearch API导入数据。 步骤3
使用OpenSearch搜索数据 OpenSearch使用流程 OpenSearch集群规划建议 创建OpenSearch集群 访问OpenSearch集群 导入数据至OpenSearch集群 使用OpenSearch集群搜索数据 增强OpenSearch集群搜索能力 配置OpenSearch集群网络
实现定期同步数据库中的数据到Elasticsearch。该方案可以用于以下场景： 数据实时更新与同步：将RDS MySQL中的数据实时同步到Elasticsearch，以便利用Elasticsearch强大的搜索和分析能力。 日志分析与检索：将MySQL中的日志数据同步到Elas
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全： 网络隔离 整个网络划分为2个平面，即业务平面和管理平面。两个平面采用物理隔离的方式进行部署，保证业务、管理各自网络的安全性。 业务平面：主要是集群的网络平面，支持为用户提供业务通道，对外提供数据定义、索引、搜索能力。
快照在恢复过程中不可查询集群数据。 当两个集群的shard不一样时，则无法恢复集群数据。 用于恢复的目标集群版本不得低于源集群版本，一般保持版本一致即可。 前提条件 快照管理列表中有“快照状态”为“可用”的快照。快照存储在OBS桶中需要额外收费，具体收费请参见OBS计费说明。 恢复数据 登录云搜索服务管理控制台。
引擎升级功能进行数据迁移，适用于CSS服务的Elasticsearch 7.10.2升级至OpenSearch 1.3.6。 数据库数据迁移至Elasticsearch集群 使用DRS从数据库导入数据至Elasticsearch：适用于将MySQL数据库中的数据同步到Elasti
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点，支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据，可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据，对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本，提升搜索效率。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
