检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? Elasticsearch不支持直接迁移不同VPC之间的数据,但是可以通过以下2种方式进行迁移。 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二: 打通VPC网络,建立对等连接。具体操作请参见对等连接简介。
所有“快照类型”为自动创建的快照(包含开启自动创建快照功能前已存在的自动创建的快照)都无法手动删除,只会被系统自动删除。 快照信息删除后,数据将无法恢复,请谨慎操作。 手动删除快照 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要进行备份的集群名称,进入集群基本信息页面。
配置Elasticsearch集群聚合增强 场景描述 聚合增强在数据聚簇的情况下,利用向量化技术,批量处理数据,从而提升聚合性能,优化可观测性业务的聚合分析能力。 在大规模数据的集聚合分析场景下,耗时主要集中在对数据的分组聚合。 提升分组聚合能力依赖排序键和聚簇键。 排序键:数据按照排序键顺序存储。 聚簇键:是
确认变更信息后,单击“提交申请”,在数据迁移弹窗中确认是否进行数据迁移(建议勾选“进行数据迁移”避免数据丢失),单击“确认”提交申请。 数据迁移过程中,系统会把待下线节点中的所有数据分片移动到剩余节点,待数据迁移完成后再进行节点下线操作。当待下线节点上的数据在剩余节点存在副本时,可跳过数据迁移,缩短集群变更时间,减少数据迁移带来的负载压力。
该接口用于集群扩容实例(仅支持扩容elasticsearch实例)。只扩容普通节点,且只针对要扩容的集群实例不存在特殊节点(Master、Client、冷数据节点)的情况。集群扩容实例的数量和存储容量,请参考扩容实例的数量和存储容量。 调用方法 请参见如何调用API。 URI POST /v1.
前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群管理列表界面。 在对应集群的“操作”列中单击“更多>重启”。
前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群管理列表界面。 在对应集群的“操作”列中单击“更多>重启”。
所有“快照类型”为自动创建的快照(包含开启自动创建快照功能前已存在的自动创建的快照)都无法手动删除,只会被系统自动删除。 快照信息删除后,数据将无法恢复,请谨慎操作。 手动删除快照 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要进行备份的集群名称,进入集群基本信息页面。
导入向量数据 执行如下命令,导入向量数据。向“my_index”索引中写入向量数据时,需要指定向量字段名称和向量数据。 向量数据输入格式为逗号分隔的浮点型数组时: POST my_index/_doc { "my_vector": [1.0, 2.0] } 向量数据输入格式为小端字节序编码的Base64字符串时:
存算分离支持将集群新写入的数据存储在SSD来达到最佳的查询检索性能,将历史数据存储到OBS中降低数据的存储成本。 场景描述 存算分离是通过冻结索引将历史数据转储到OBS,以此降低数据的存储成本。 对于有海量数据写入和存储的场景,数据有明显的冷热区分,新写入的数据一般属于热数据,存储在SSD中
”索引中写入一条数据,这条数据的“_id”就是policy的名字,内容是policy的定义。 图1 写入一条数据 将policy和索引绑定以后,系统会再往“.opendistro-ism-config”索引中写入一条数据。这条数据的初始状态如下图所示。 图2 数据初始状态 执行e
导入向量数据 执行如下命令,导入向量数据。向“my_index”索引中写入向量数据时,需要指定向量字段名称和向量数据。 向量数据输入格式为逗号分隔的浮点型数组时: POST my_index/_doc { "my_vector": [1.0, 2.0] } 向量数据输入格式为小端字节序编码的Base64字符串时:
OpenSearch集群访问方式 导入数据 OpenSearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch API、云数据迁移服务CDM和数据复制服务DRS,支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。 OpenSearch集群导入数据方式
t节点时,数据节点将用于存储数据并提供接入集群和分析数据的功能。 当集群未启用Master节点但启用了Client节点时,数据节点将用于存储数据并提供集群管理功能。 当集群同时启用了Master节点和Client节点时,数据节点将仅用于存储数据。 说明: 当集群中数据节点的数量和
系统的容错能力。 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格
求。 冷数据节点(ess-cold) 冷数据节点用于存储对查询时延要求不高,但数据量较大的历史数据,是管理大规模数据集和优化存储成本的有效方式。 需要存储大量历史数据:当需要存储大量不常访问但对分析有用的历史数据时,使用冷数据节点可以提供成本效益较高的存储解决方案。 需要优化热数
当用户已完成数据搜索业务,无需继续使用某一集群时,可删除集群释放资源。 约束限制 删除集群时,会清理集群业务数据,请谨慎操作。 如果集群没有备份快照,则删除后不可恢复集群数据。当集群启用过快照功能,且OBS桶中创建的快照并未被删除,此时删除集群时,并不会释放这部分备份数据。如果有需
使用delete_by_query命令删除Elasticsearch集群数据后,为什么磁盘使用率反而增加? 使用delete_by_query命令删除数据并不是真正意义上的物理删除,它只是对数据增加了删除标记。当再次搜索时,会搜索全部数据后再过滤掉带有删除标记的数据。 因此,该索引所占的空间并不会因为执行磁盘
缩容Logstash集群 当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。 缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。 前提条件 集群处于“可用”状态,且无正在进行的任务。 约束限制 缩容是通过下线节点减少节点
通过索引生命周期管理实现OpenSearch集群自动滚动索引 通过索引生命周期管理实现OpenSearch集群存算分离 父主题: 使用OpenSearch搜索数据