检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Elasticsearch集群数据迁移方案介绍 表1 Elasticsearch集群迁移方案 迁移场景 迁移工具 适用场景 使用限制 场景示例 华为云Elasticsearch集群间数据迁移 华为云Logstash 适用于低版本的华为云Elasticsearch集群到高版本的数据迁移。
入门实践 云搜索服务为您提供各种业务场景、方案架构的最佳实践，方便您根据自身的业务场景选择合适的实践方案。 表1 常用最佳实践 实践场景 描述 数据迁移 通过华为云Logstash实现Elasticsearch集群间数据迁移 华为云Logstash是一款全托管的数据接入处理服务，
单击右上角“创建”，进入创建配置文件页面，编辑配置文件。 表1 创建配置文件 参数 说明 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线，且必须以字母开头。必须大于等于4个字符。 配置文件内容 支持使用配置文件模板进行配置项修改，或是直接开发配置文件内容。 使用配置文件模板时，需要展
审计与日志 审计 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录CSS服务的操作事件用于审计。
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能，将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS，以此降低数据的存储成本。 对于有海量数据写入和存储的场景，数据有明显的冷热区分，新写入的数据一般属于热数据，存储在SSD中方便
创建用于数据同步的Logstash配置文件。 在Logstash集群的配置中心页面，单击右上角“创建”，进入创建配置文件页面，编辑配置文件。 表1 创建配置文件 参数 说明 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线，且必须以字母开头。必须大于等于4个字符。 配置文件内容 参考下面的代码示例开发配置文件内容。
""" 使用该函数从hdf5格式的源数据文件读取出query向量，并生成完整的query请求体，用于性能压测。 :param src: hdf5格式的源数据文件路径。 :param dst: 目标文件路径。 :param size: 指定查询返回结果数。
移。以下是该方案适用的专业迁移场景概述： 集群合并：Reindex API能够将分散在多个Elasticsearch集群中的索引数据合并至单一集群，实现数据的集中管理和分析。 服务迁移上云：企业可以将自建的Elasticsearch服务迁移至云平台，以利用云服务的弹性扩展、简化维护和成本效益。
体验。该方案可以用于以下场景： 电子商务：根据销量、用户评价、价格等因素对商品进行排序。 内容管理：根据阅读量、发布时间对文章或博客帖子进行排序。 金融服务：根据交易金额、频率或风险评分对交易记录进行排序。 客户支持：根据工单的紧急程度或打开时间对客户请求进行排序。 方案架构 通
配置Filebeat的配置文件“filebeat.yml”。 例如，采集“/root/”目录下以“log”结尾的所有文件，配置文件“filebeat.yml”中的内容如下： filebeat.inputs: - type: log enabled: true # 采集的日志文件路径。
重启Elasticsearch集群 集群停止工作时，您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启，两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时，所选类型的所有节点会一起重启。
重启OpenSearch集群 集群停止工作时，您可通过重启集群恢复运行。 场景描述 重启集群支持快速重启和滚动重启，两种方案的使用说明请参见表1。建议在业务空闲时执行重启操作。 表1 重启方案 方案 使用说明 相关文档 快速重启 所有集群都支持。 当选择“节点类型”快速重启时，所选类型的所有节点会一起重启。
在Elasticsearch集群中，Elasticsearch会占用50%内存，另外50%内存会被Lucene用于缓存文件，因此节点内存占用会一直很高，平均已用内存比例达到98%是正常现象，请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JVM堆使用率”这两个指标来监控集群内存使用情况。
数据丢失的风险。 灵活的备份策略：可以根据业务需求，灵活选择全量备份或增量备份，优化存储使用和迁移时间。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份，该方案避免了对Elasticsearch外部读写接口的依赖，从而显著降低了对源集群性能的影响
数据的移动，还包括了确保业务连续性、提高效率和满足合规性要求等多个方面。 方案架构 图1 迁移Elasticsearch的Kibana可视化图表 迁移Elasticsearch的Kibana可视化图表的方案流程如图1所示。 通过Kibana的图表导出功能，在源Elasticsea
_snapshot/my_backup/snapshot_1 通过华为云对象存储迁移服务OMS将快照数据从存储仓库迁移到对象存储服务OBS的“esbak”桶中。 OMS支持多种云服务商数据迁移到对象存储服务OBS中，具体请参见各云服务商迁移教程。 在OMS创建迁移任务时，“元数据
ESM迁移集群后，两个集群的数据存储量不一致是正常的，这是由Elasticsearch的内部存储机制决定的。Elasticsearch存储是有多个shard，每个shard又有多个segment，由于ESM迁移是把源集群数据写入到目标集群，会导致在目标集群重新生成segment和shar
特定的集群状态。 迁移时长可控：基于迁移时长评估公式可以配置数据迁移速率，理想状态下等于文件复制速率。 性能影响 使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份，该方案避免了对Elasticsearch外部读写接口的依赖，从而显著降低了对源集群性能的影响。
单节点集群打开Cerebro界面显示告警 原因分析 单节点集群索引默认有副本，但是副本无法下发请求，所以显示告警。 解决方案 在Kibana的“Dev Tools”页面，执行以下命令将索引副本数量修改为“0”。 PUT _all/_settings { "index" : {
Elasticsearch的索引组成 查询性能优化 基于Elasticsearch的数据查询流程分析，有以下几种性能优化方案。 表1 查询性能优化 优化方案 方案说明 通过routing减少检索扫描的分片数 在数据入库时指定routing值，将数据路由到某个特定的分片，查询时通过该
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
