检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。
CSS服务中如何清理Elasticsearch索引数据? 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。
PUT /my_logs { "settings": { "refresh_interval": "30s" } } 父主题: 数据导入导出类
父主题: 备份与恢复OpenSearch集群数据
当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需要,可以通过OBS桶中存储的快照信息恢复数据,具体参见集群被删除后是否还能恢复?。
排序键:数据按照排序键顺序存储。 聚簇键:是排序键的前缀子集,数据按照聚簇键聚簇在一起。 聚合增强常见的使用场景请参见表1。 表1 聚合增强的使用场景 场景 描述 相关文档 低基字段聚合 表示对具有较少不同值的列进行聚合,如对一个存储类别的列进行聚合。
索引 用于存储Elasticsearch的数据,是一个或多个分片分组在一起的逻辑空间。 Shard 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求,Elasticsearch提供了一个能力,将一个索引拆分为多个,称为Shard。
重新尝试推送数据到es。 父主题: 数据导入导出类
父主题: 备份与恢复Elasticsearch集群数据
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? Elasticsearch不支持直接迁移不同VPC之间的数据,但是可以通过以下2种方式进行迁移。 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。
如果使用单AZ,availability_zone默认取值为空。 说明: 说明 - 选择多AZ时,各个可用分区名称不能重复输入,并且要求节点个数大于等于AZ个数。 - 如果节点个数为AZ个数的倍数,节点将会均匀的分布到各个AZ。
“IAM委托” 选择IAM委托,指当前账号授权云搜索服务访问或维护存储在OBS中数据。 当首次配置委托时,可以单击“自动创建委托”新建委托“css-obs-agency”直接使用。
启用冷数据节点 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 启用冷数据节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。
通过MRS Hive客户端接入Elasticsearch集群 Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。
“IAM委托” 选择IAM委托,指当前账号授权云搜索服务访问或维护存储在OBS中数据。 当首次配置委托时,可以单击“自动创建委托”新建委托“css-obs-agency”直接使用。
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。
“IAM委托” 选择IAM委托,指当前账号授权云搜索服务访问或维护存储在OBS中数据。 当首次配置委托时,可以单击“自动创建委托”新建委托“css-obs-agency”直接使用。
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。
启用冷数据节点 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 启用冷数据节点后,在下方选择对应的“节点规格”、“节点数量”和“节点存储”。“节点数量”可设置为1~32任意数值。
规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。