检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PUT /my_logs { "settings": { "refresh_interval": "30s" } } 父主题: 数据导入导出类
表1 集群快照基础配置 参数 说明 OBS桶 选择存储集群快照的OBS桶。 备份路径 集群快照在OBS桶中的存放路径。可以保持默认值。 IAM委托 快照数据存储到OBS桶中,需要OBS的操作权限。选择IAM委托,授权当前账号访问和使用OBS的权限。
重新尝试推送数据到es。 父主题: 数据导入导出类
应用性能监控:将应用性能数据存储在MySQL中,通过Logstash同步到Elasticsearch,进行实时监控和性能分析。 数据备份与恢复:通过Logstash将MySQL数据备份到Elasticsearch,以便在数据丢失或损坏时快速恢复。
打通网络后,使用Logstash进行数据迁移。具体操作请参见使用Logstash迁移集群数据。 父主题: CSS集群迁移
当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需要,可以通过OBS桶中存储的快照信息恢复数据,具体参见集群被删除后是否还能恢复?。
当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需要,可以通过OBS桶中存储的快照信息恢复数据,具体参见集群被删除后是否还能恢复?。
排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。
父主题: 备份与恢复OpenSearch集群数据
冷数据节点(ess-cold)主要用于分担数据节点(ess)的压力,当发现冷数据有丢失的风险时,可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性,同时也支持扩容节点个数保证集群的可用性。 扩容节点数量和节点存储容量 升级节点规格 只支持基于节点类型变更集群的“节点规格”。
在嵌套字段中使用向量索引 使用嵌套字段可以实现在单条文档中存储多条向量数据,比如在RAG场景中,文档数据通常需要按段落或按长度进行切分,分别进行向量化得到多条语义向量,通过嵌套字段(Nested)可以将这些向量写入同一条ES的文档中。
高可用性和持久性:S3提供的高持久性和可用性保证了备份数据的安全性,减少了数据丢失的风险。 灵活的备份策略:可以根据业务需求,灵活选择全量备份或增量备份,优化存储使用和迁移时间。
冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。
当数据量比较大时,滚动重启耗时较长。 滚动重启 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。
本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关闭索引;当索引创建7天后,对存储在OBS上的索引数据执行归档操作,进一步降低存储成本;当索引创建30天后,删除该索引。
OpenSearch集群访问方式 通过OpenSearch Dashboards登录OpenSearch集群 通过Cerebro登录OpenSearch集群 通过Curl命令行接入OpenSearch集群 通过LDAP接入OpenSearch集群 父主题: 使用OpenSearch搜索数据
OpenSearch集群指定节点 更改OpenSearch集群安全模式 切换OpenSearch集群可用区 配置OpenSearch集群自定义词库 配置OpenSearch集群简繁体转换搜索 重启OpenSearch集群 删除OpenSearch集群 父主题: 使用OpenSearch搜索数据
冷数据节点(ess-cold)主要用于分担数据节点(ess)的压力,当发现冷数据有丢失的风险时,可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性,同时也支持扩容节点个数保证集群的可用性。 扩容节点数量和节点存储容量 升级节点规格 只支持基于节点类型变更集群的“节点规格”。
父主题: 备份与恢复Elasticsearch集群数据
当Logstash集群和数据源的子网不在同一个主网卡时,需要配置Logstash集群路由,给Logstash集群的每个节点新增一个指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以此打通Logstash集群和数据源之间的网络。