检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将一个集群的数据迁移到另一个集群,我们称之为集群迁移。集群迁移的应用场景很多,如当业务数据不断增加时,无法直接修改当前集群的规格以便满足需求时,可以选择创建一个规格较高的集群,然后通过集群迁移的操作,快速将数据全部迁移至新集群中,以满足业务需求。另一个场景,如通过集群迁移可将两个集群的索引合并到一个集群
通过Curl命令行接入OpenSearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。 前提条件
通过Curl命令行接入Elasticsearch集群 开源Elasticsearch提供了一系列RESTful风格的API,通过Curl命令可以在Kibana、Postman等工具中使用这些API。本文介绍如何通过Curl命令接入Elasticsearch和OpenSearch集群。
通过索引生命周期管理实现OpenSearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到
再修改为实际值。 当源端数据量很大时,建议采用快照方式迁移数据。例如通过备份与恢复实现华为云Elasticsearch集群间数据迁移、通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云和通过备份与恢复迁移第三方Elasticsearch集群至华为云。 当索引数
项目隔离模型 Checkpoint:消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP:应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 企业项目 企业项目是项目
在华为云控制台上方单击“费用与成本”进入费用中心。 导航栏选择“订单管理 > 续费管理”。 在续费管理页面,“到期时间”选择“已冻结”,“产品类型”选择“云搜索服务”,找到已冻结的集群周期包。 在已冻结集群周期包对应的操作列,单击“续费”进入续费页面,根据需要续费周期。 确认集群周期包的“状态”由“已冻结”变
- Min Throughput index-append 92446.94 docs/s Median Throughput index-append 92935.55 docs/s Max Throughput index-append 93217.68 docs/s 50th
其他相关操作,请使用管理控制台方式访问云搜索服务。如果用户已注册公有云,可直接登录管理控制台,在服务列表搜索“云搜索服务”。如果未注册,请单击右上方“注册”,根据界面提示填写用户基本信息,然后单击“同意协议并注册”完成管理控制台用户注册。
在向量索引加速算法中,“IVF_GRAPH”和“IVF_GRAPH_PQ”适用于超大规模场景。这两种算法需要通过对子空间的切割缩小查询范围,子空间的划分通常采用聚类或者随机采样的方式。在预构建之前,需要通过聚类或者随机采样得到所有的中心点向量。通过预构建和注册将中心点向量预构建成GRAPH或者GRAPH_PQ索引,同
在向量索引加速算法中,“IVF_GRAPH”和“IVF_GRAPH_PQ”适用于超大规模场景。这两种算法需要通过对子空间的切割缩小查询范围,子空间的划分通常采用聚类或者随机采样的方式。在预构建之前,需要通过聚类或者随机采样得到所有的中心点向量。通过预构建和注册将中心点向量预构建成GRAPH或者GRAPH_PQ索引,同
日志分析与检索:将MySQL中的日志数据同步到Elasticsearch,进行快速检索和分析。 应用性能监控:将应用性能数据存储在MySQL中,通过Logstash同步到Elasticsearch,进行实时监控和性能分析。 数据备份与恢复:通过Logstash将MySQL数据备份到Elasticsearch,以便在数据丢失或损坏时快速恢复。
op生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何需要使用ES集群的应用。如有需要,也可以参考本文在其他服务中使用Elasticsearch,前提是要保证客户端与Elasticsearch集群网络连通。 准备工作 CSS集群处于可用状态。
(Follower),实现主集群承担写入任务,从集群承担查询任务。读写分离可以将读写压力分开,提高查询的性能。当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。 图1 读写分离特性的两种使用场景 场景一(图左):主集群写入,从集群查询,分离读写压力。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证:通过Token认证调用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小1
创建OpenSearch集群用户并授权使用 CSS服务会对开启安全模式的集群进行访问控制,只有通过身份认证的用户才能访问安全集群。在创建安全集群时,必须配置一个管理员账号。该管理员能够使用OpenSearch Dashboard为集群添加新用户,并授予相应的安全集群使用权限。 背景信息
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置
通过索引生命周期管理实现OpenSearch集群自动滚动索引 方案概述 对于时间序列数据,随着时间推移数据持续写入,索引会越来越大,通过生命周期管理来定期将数据滚动到新索引,并将历史老索引删除,实现自动滚动索引。 本案例通过配置生命周期策略,当索引的大小达到1TB或索引创建超过1
功能,可以安全控制CSS服务相关资源的访问。CSS权限管理请参见权限管理。 CSS集群内部的权限控制是通过安全集群实现的,当集群开启安全模式后,访问集群时需要进行身份认证,通过Kibana可以给集群创建用户进行授权。详细信息请参见创建Elasticsearch集群用户并授权使用集
图1 查询所有仓库信息 bucket:OBS桶名。 base_path:路径名称。前缀默认固定,后面是集群名称。 endpoint:OBS域名。 region:所在region。 查询指定快照信息。 执行GET _snapshot/repo_auto/_all命令,查询当前仓库下面所有的快照列表。