检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量很大,如何进行快照备份? 如果快照数据量极大,快照备份要超过一天时,可参考如下方法进行优化。 快照备份的时候指定索引,比如先分批,默认是*,将会备份所有的索引。 使用自定义快照仓库。 创建自定义仓库。 除了使用云搜索服务提供的repo_auto之外,客户也可以自己创建一个仓库,接口见如下:
IVF_GRAPH:算法将IVF与HNSW结合,对全量空间进行划分,每一个聚类中心向量代表了一个子空间,极大地提升检索效率,同时会带来微小的检索精度损失。适用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和I
、数据读取多,时延变长会更明显。 已转储到OBS中的索引不支持解冻,即不可回退为可写的索引。 由于存算分离的特性依赖OBS,所以使用过程中要遵守OBS的“带宽”和“每秒请求数(QPS)”的使用限制,详细请参见OBS使用限制。当超过限制时,集群中涉及到OBS查询的性能都会下降,例如恢复分片的速度变慢、查询数据时变慢等。
} } } “total_shards_per_node”要留有一定的buffer,防止机器故障导致分片无法分配(例如10台机器,索引有20个分片,则total_shards_per_node设置要大于2,可以取3)。 索引产生前设置。 通过索引模板,设置其在每个节点上的分片个数。
议在集群数据量较大的情况下,分多次进行缩容。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数
议在集群数据量较大的情况下,分多次进行缩容。 要确保缩容之后的磁盘使用量小于80%,且集群每个节点类型中每个AZ的节点数至少为1。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数
约束限制 缩容是通过下线节点减少节点数量,为了降低业务影响,建议在业务低峰期进行缩容操作。 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于等于1。 减少节点数量 登录云搜索服务管理控制台。 在左侧菜单栏,选择“集群管理 > Logstash”,进入集群管理页面。 在集群列表选择目标集群,单击操作列的“更多
IVF_GRAPH:算法将IVF与HNSW结合,对全量空间进行划分,每一个聚类中心向量代表了一个子空间,极大地提升检索效率,同时会带来微小的检索精度损失。适用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合和I
Kafka实例的IP和端口号。 topics 是 要订阅的主题列表。 group_id 是 该消费者所属的组的标识符。 auto_offset_reset 是 Kafka中初始偏移量。 earliest:将偏移量自动重置为最早的偏移量 latest:自动将偏移量重置为最新偏移量 none:如果未找到消费者组的先前偏移量,则向消费者抛出异常
本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何需要使用ES集群的应用。如有需要,也可以参考本文在其他服务中使用Elasticsearch,前提是要保证客户端与Elasticsearch集群网络连通。 准备工作 CSS集群处于可用状态。 确保客户端与CSS集群的网络是互通的。 确保CSS
易于操作和管理:在CSS服务控制台使用集群快照功能实现备份恢复,操作简单,且易于管理和自动化。 适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 支持跨地域和跨账号迁移:通过结合OBS的跨区域复制功能,可以实现跨地域和跨账号的数据迁移。 恢复过程可控:在
易于操作和管理:使用Elasticsearch自带的快照和恢复API,操作简单,易于管理和自动化。 适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 恢复过程可控:在恢复数据时,可以选择恢复特定索引或全部索引,并且可以指定恢复到特定的集群状态。 约束限制 目
“节点规格”关联,不同的规格允许的取值范围不同。 节点存储容量只支持配置为20的倍数。 集群创建完成后,不支持缩容节点存储容量,请基于业务量合理选择容量。 启用Master节点 Master节点负责关键的集群管理任务,如元数据管理、索引创建与删除、分片分配等。在大规模集群的元数据
“节点规格”关联,不同的规格允许的取值范围不同。 节点存储容量只支持配置为20的倍数。 集群创建完成后,不支持缩容节点存储容量,请基于业务量合理选择容量。 启用Master节点 Master节点负责管理集群中所有节点任务,如元数据管理、索引创建与删除、分片分配等。在大规模集群的元
、数据读取多,时延变长会更明显。 已转储到OBS中的索引不支持解冻,即不可回退为可写的索引。 由于存算分离的特性依赖OBS,所以使用过程中要遵守OBS的“带宽”和“每秒请求数(QPS)”的使用限制,详细请参见OBS使用限制。当超过限制时,集群中涉及到OBS查询的性能都会下降,例如恢复分片的速度变慢、查询数据时变慢等。
获取Elasticsearch集群信息 在迁移集群前,需要先获取必备的集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息 集群来源 要获取的信息 获取方式 源集群 华为云Elasticsearch集群 源集群的名称 源集群的访问地址 访问源集群的用户名和密码(仅安全集群涉及)