检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本概念 集群 云搜索服务是以集群为单位进行组织,一个集群代表一个独立运行的搜索服务,由多个节点构成。 索引 用于存储Elasticsearch的数据,是一个或多个分片分组在一起的逻辑空间。 Shard 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求,Elasti
数据保护技术 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。
fair策略的阈值,仅当“search.isolator.strategy”值为“fair”生效。综合考虑大查询的运行时间及内存,当大查询任务内存相差不超过此阈值时,考虑选取运行时间长的大查询进行中断。当查询内存相差超过此阈值时,选取大内存查询任务进行中断。 取值范围:0.0-100.0%
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
管理向量索引缓存 CSS的向量检索引擎使用C++实现,使用的是堆外内存,该插件提供了接口对向量索引的缓存进行管理。 查看缓存统计信息 GET /_vector/stats 在向量插件实现中,向量索引与Lucene其他类型索引一样,每一个segment构造并存储一份索引文件,在查询
一身份认证服务(Identity and Access Management,简称IAM)实现服务资源层面的身份认证和访问控制;另一方面是由CSS服务提供的安全集群内的身份认证和访问控制实现。两者是相互独立的模块。 IAM服务主要用来控制CSS服务管理面的资源操作权限。使用CSS
切换OpenSearch集群可用区 CSS服务支持跨可用区的能力,在集群使用过程中遇到可用区资源不足或需要提升集群的高可用性时,可以通过切换可用区实现。 场景描述 切换可用区包含两大场景:可用区高可用改造和可用区平移切换。 可用区高可用改造:适用于单AZ改造成两AZ、单AZ改造成三AZ或
切换Elasticsearch集群可用区 CSS服务支持跨可用区的能力,在集群使用过程中遇到可用区资源不足或需要提升集群的高可用性时,可以通过切换可用区实现。 场景描述 切换可用区包含两大场景:可用区高可用改造和可用区平移切换。 可用区高可用改造:适用于单AZ改造成两AZ、单AZ改造成三AZ或
了解更多常见问题、案例和解决方案 热门案例 云搜索服务如何保证数据和业务运行安全 集群不可用排查指导 云搜索服务有哪些存储选项 申请的集群节点磁盘空间会有哪些开销 Elasticsearch是否支持不同VPC之间的数据迁移? 如何使用NAT网关实现云搜索服务公网访问 更多 远程登录 应用容器化改造介绍
选择已经启动的管道名称,单击“全部停止”,停止正在运行的任务,等待所有管道任务停止完成。 图11 停止任务 步骤6:删除集群 已完成数据迁移业务,无需继续使用集群时,可删除集群释放资源,删除前请确保所有正在运行的管道任务全部停止。 集群删除前请停止所有正在运行的任务,请谨慎操作, 删除前请备份配置文件。
没有开启Kibana公网访问。 打开Kibana公网访问。 400 CSS.5181 The whitelist does not exist. 白名单不存在。 当前白名单为空,请添加后再进行相关操作。 400 CSS.5182 The VPC endpoint service is not enabled
以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency> <groupId>org
以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch 1.3.6版本举例。 <dependency>
Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: pip install opensearch-py==1
可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro Index State Management的详细说明请参见:https://opendistro
Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: # 根据集群实际版本填写,此处以7.6举例 pip
常场景,最后发现这种回调的异常并不会被IOReactorExceptionHandler捕获,运行脚本后也没有异常抛出,所以此处IOReactorExceptionHandler的实现并不好验证。通过ElasticSearch社区issue中其他开发者的验证,添加了IOReact
CSS服务中如何更新Elasticsearch生命周期策略? Elasticsearch生命周期实现使用的是Open Distro的ISM。此处简单介绍不涉及ISM template的策略更新步骤,如果要配置有关ISM template的策略可以参考Open Distro文档。 当创建一个policy时,系统会往“
Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index
开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”适用于需要长期运行的业,不适用于短期运行的业务,短期业务如果源端无数据,开启保持常驻会导致任务失败。 单击“确定”,开始启动配置文件启动Logstash迁移任务。 可以在管道列表看到启动的配置文件。