检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务（MRS） 华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。
询需求。 实时数据同步：通过华为云数据复制服务DRS，可以实现MySQL数据库中的数据实时同步到Elasticsearch，确保数据的一致性和实时性。 简化的数据迁移和索引创建：在Elasticsearch中，可以创建与MySQL数据库表结构相对应的索引，简化了数据迁移和索引管理的复杂性。
平台对接数据格式有哪些要求？ 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题： 数据服务常见问题
Beats作为数据收集器，负责从各种源收集数据并发送到Logstash。 Logstash可以独立收集数据，或从Beats接收数据，对数据进行过滤、转换和增强。 数据处理 Logstash在将数据发送到Elasticsearch之前，对数据进行必要的处理，如解析结构化日志、过滤无用信息等。 数据存储 Elasti
免迁移后源集群与目标集群数据不一致。 通过ESM实现Elasticsearch集群间数据迁移 云数据迁移CDM 华为云服务提供的云迁移工具，实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中，不能删除源集群的索引数据，否则迁移的数据可能出现异常。
arch集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。
在OpenSearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段，提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size（topk）条数据。
createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName
csearch集群数据导入性能。 表1 Elasticsearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。
确保客户端与CSS集群的网络是互通的。 确保CSS集群和MRS集群在同一个区域、可用区、虚拟私有云和子网。 图1 CSS集群的区域等信息 接入集群 获取集群的内网访问地址。访问集群时，需要输入内网访问地址。 本文以内网IP地址方式访问集群为例，当使用其他网络配置访问集群时，仅访问地址
使用Logstash迁移集群 在集群迁移初期或需要确保数据完整性的场景，推荐使用Logstash全量迁移集群数据。 在需要持续同步数据或对数据实时性有较高要求的场景，推荐使用Logstash增量迁移集群数据。 释放Logstash集群：当集群迁移完成后，请及时释放Logstash集群。 获取Elasticsearch集群信息
在Elasticsearch集群使用向量索引搜索数据 使用向量索引搜索数据支持多种方式。 标准查询 复合查询 ScriptScore查询 重打分查询 Painless语法扩展查询 标准查询 针对创建了向量索引的向量字段，提供了标准向量查询语法。下述查询命令将会返回所有数据中与查询向量最近的size（topk）条数据。
createCluster 按需集群转包周期 cluster updateOndemandClusterToPeriod 查询集群详情 cluster showClusterDetail 删除集群 cluster deleteCluster 修改集群名称 cluster updateClusterName
导入数据至OpenSearch集群 OpenSearch集群导入数据方式 使用自建Logstash导入数据到OpenSearch 使用开源OpenSearch API导入数据到OpenSearch 使用CDM导入数据到OpenSearch 增强OpenSearch集群数据导入性能
生效。 集群 选择需要进行恢复的集群名称，可选择当前集群或者其他集群。 只能选择处于“可用”状态的集群，如果快照所属的集群处于“不可用”状态，那么也无法将快照恢复到本集群。 恢复到其他集群时，目标集群的版本不低于本集群的版本。当本集群存在冻结状态的索引快照时，在恢复数据后，该索引
仅Elasticsearch 7.10.2集群和OpenSearch 1.3.6集群支持数据导入性能增强。 前提条件 待增强数据导入性能的集群处于“可用”状态。 Bulk路由优化 通过指定配置项“index.bulk_routing”可以开启集群的Bulk路由优化，该优化可以减少内部
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前，请务必按准备工作指导完成必要操作。 步骤1：创建集群：创建一个Elasticsearch非安全集群用于搜索数据。 步骤2：导入数据：在Kibana上使用开源Elasticsearch API导入数据。 步骤3：搜索数据：在El
使用OpenSearch集群搜索数据 使用DSL语言在OpenSearch中搜索数据 使用SQL语言在OpenSearch中搜索数据 父主题： 使用OpenSearch搜索数据
备份与恢复OpenSearch集群数据 创建快照备份OpenSearch集群数据 恢复OpenSearch集群数据 删除OpenSearch集群快照 父主题： 使用OpenSearch搜索数据
图1 切换冷热数据原理 在创建集群时，启用的冷数据节点会被打上“cold”标签，用来存放冷数据，数据节点会被打上“hot”标签，用于存放热数据。用户可以通过配置指定索引，将数据分配到冷数据节点上。只有集群存在冷数据节点时，数据节点才会被打上热标签。 冷数据节点只有在创建集群时可以选择
登录云搜索服务管理控制台。 开启集群自动创建快照。支持在创建集群的时候就打开集群自动创建快照，操作指导请参见7，或者在集群创建完成之后再开启集群自动创建快照。 如果在创建集群时已经打开集群自动创建快照，请执行7。 如果是集群创建完成之后开启集群自动创建快照，请执行下一步。 在“集群管理”页面，单击
修改存储在OBS中冷数据的缓存配置 索引数据转储到OBS后，为了尽可能的减少对OBS的访问请求，并提升集群的查询性能，系统会缓存部分数据。第一次查询冷数据时，集群会直接访问OBS，获取到的数据会被缓存在集群内存中，后续查询时会先检查是否有缓存数据。 集群访问不同的文件，访问的模
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
