检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
finalAzInfoMap String 参数解释: 当action_mode为AZ_MIGRATION才有该参数,表示集群切换AZ后,各节点对应的AZ详情。
在Kibana的“SQL Workbench”里,输入Elasticsearch SQL语句可以查询数据,也可以“Download”导出数据,支持自定义导出1~200条数据,缺省导出200条数据。
说明: 在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 source_az 是 String 节点当前所在AZ。 target_az 是 String 期望节点最终分布AZ。
数据安全 在云搜索服务中,通过多副本、集群跨az部署、索引数据第三方(OBS)备份功能保证用户的数据安全。 父主题: 安全
在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点,需要保证单节点下线后,其余节点的磁盘容量能够接纳该节点的所有数据。
在切换可用区前,建议备份所有关键数据,以免造成数据丢失。 约束限制 为了保证业务的连续性,集群中数据节点和冷数据节点的个数之和要不小于3。 切换过程中会逐一下线节点再新建节点,需要保证单节点下线后,其余节点的磁盘容量能够接纳该节点的所有数据。
关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 减少节点数量 登录云搜索服务管理控制台。 在左侧菜单栏,选择“集群管理 > Logstash”,进入集群管理页面。 在集群列表选择目标集群,单击操作列的“更多 > 形态变更”进入形态变更页面。
配置Elasticsearch集群存算分离 存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。
表1 节点数量和AZ分布 集群节点个数 单AZ 两AZ AZ1 AZ1 AZ2 1个节点 1 不支持 2个节点 2 1 1 3个节点 3 2 1 4个节点 4 2 2 … … … … 规划节点存储 规划节点机型 由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。
灵活的迁移策略:根据业务需求,可以灵活选择全量迁移或增量迁移,优化存储使用和迁移时间。 性能影响 使用Logstash迁移集群依托于Scroll API,此API能够高效读取源集群的索引数据,并批量同步至目标集群。
ess.spec-4u8g 节点存储 选择集群节点的存储类型。 高I/O 节点存储容量 设置集群节点的存储空间大小,其取值范围与节点规格关联,不同的规格允许的取值范围不同。节点存储容量只支持配置为20的倍数。
关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半,缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。
表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。
当本集群存在冻结状态的索引快照时,在恢复数据后,该索引会被存储在节点本地,且默认只读,如果需要支持写入,需要执行如下命令配置索引。
冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。
方案优势 数据一致性高:利用读写分离的主从复制机制,确保数据在不同分片之间的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。
冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。
使用CDM导入数据到OpenSearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。
源数据库实例 选择需要同步的RDS for MySQL实例,即存储用户业务数据的MySQL。 同步实例所在子网 选择同步实例所在的子网,建议跟数据库实例以及Elasticsearch集群所在子网保持一致。
ess.spec-4u8g 节点存储 选择集群节点的存储类型。 普通I/O 节点存储容量 设置集群节点的存储空间大小,其取值范围与节点规格关联,不同的规格允许的取值范围不同。节点存储容量只支持配置为20的倍数。