-
使用Logstash导入数据到Elasticsearch - 云搜索服务 CSS
在集群列表页面中,单击待导入数据的集群“操作”列的“Kibana”。 在Kibana的左侧导航中选择“Dev Tools”,进入Console界面。 在已打开的Kibana的Console界面,通过搜索获取已导入的数据。 在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。
-
(可选)预构建与注册 - 云搜索服务 CSS
文件。中心点索引在shard间复用能够有效减少训练的开销、中心点索引查询次数,提升写入以及查询的性能。 操作步骤 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名
-
切换冷热数据 - 云搜索服务 CSS
切换冷热数据 云搜索服务提供了冷数据节点供企业选择,企业可以将部分现查要求秒级返回的数据放在高性能机器上面,对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 创建集群时,数据节点为必选,只有当选择了冷数据节点后,数据节点才会变成热节点。 选择冷数据节点的同时,支持独立选择Master和Client节点。
-
切换冷热数据 - 云搜索服务 CSS
切换冷热数据 云搜索服务提供了冷数据节点供企业选择,企业可以将部分现查要求秒级返回的数据放在高性能机器上面,对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 创建集群时,数据节点为必选,只有当选择了冷数据节点后,数据节点才会变成热节点。 选择冷数据节点的同时,支持独立选择Master和Client节点。
-
配置缓存 - 云搜索服务 CSS
配置缓存 将数据转储到OBS后,为了尽可能的减少对OBS的访问请求,并提升ES的查询性能,系统将会缓存部分数据。第一次获取到数据时,会直接访问OBS,之后将获取到的数据缓存在内存中,后续访问会先检查是否有缓存。数据缓存支持内存和文件。 ES访问不同的文件访问的模式是不一样的,缓存系统
-
备份与恢复概述 - 云搜索服务 CSS
备份与恢复概述 为避免数据丢失,您可以将集群的索引数据进行备份,当数据发生丢失或者想找回某一时间段数据时,您可以通过恢复索引操作快速获得数据。索引的备份是通过创建集群快照实现。第一次备份时,建议将所有索引数据进行备份。 管理自动创建快照:自动创建快照指按照设置的规则,每天在指定时
-
迁移方案概述 - 云搜索服务 CSS
迁移方案概述 CSS服务的迁移方案适用于华为云ES之间的数据迁移、自建ES到华为云ES之间的数据迁移和第三方友商ES到华为云ES之间的数据迁移。可以根据实际迁移场景,选择合适的集群迁移方案。 迁移场景 不同数据来源的集群,迁移方案会有差别,本章主要介以下场景的迁移方案。 源端为Elasticsearch的集群迁移
-
创建向量索引 - 云搜索服务 CSS
IVF_GRAPH:算法将IVF与HNSW结合,对全量空间进行划分,每一个聚类中心向量代表了一个子空间,极大地提升检索效率,同时会带来微小的检索精度损失。适用于数据量在上亿以上同时对检索性能要求较高的场景。 IVF_GRAPH_PQ:PQ算法与IVF-HNSW的结合,PQ可以通过配置选择与HNSW结合
-
使用delete - 云搜索服务 CSS
使用delete_by_query命令删除数据后,为什么磁盘使用率反而增加? 使用delete_by_query命令删除数据并不是真正意义上的物理删除,它仅仅是对数据增加了删除标记。当再次搜索时,会搜索全部数据后再过滤掉带有删除标记的数据。 因此,该索引所占的空间并不会因为执行磁盘删除命令后
-
变更规格 - 云搜索服务 CSS
选择目标集群,单击操作列的“更多>形态变更”进入更改集群规格页面。 在更改集群规格页面,设置变更规格的参数。 “变更类型”:“变更规格”。 “变更的资源”:显示资源的变化量。 “变更的角色”:此处修改的是默认数据节点类型的节点规格,在对应节点规格下拉框中选择所需的规格,然后勾选需要变更的节点。 图1
-
使用CDM从OBS导入数据到Elasticsearch - 云搜索服务 CSS
S桶中的数据迁移到云搜索服务的待导入数据的集群中。 具体操作请参见《云数据迁移用户指南》中的表/文件迁移。 在已打开的Kibana的Console界面,通过搜索获取已导入的数据。 在Kibana控制台,执行如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。
-
通过Python接入集群 - 云搜索服务 CSS
本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 操作步骤 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7.6.2,则安装7
-
启动pipeline迁移数据 - 云搜索服务 CSS
tash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 names 是 Array of strings 配置文件名称。 响应参数 无 请求示例 启动pipeline迁移数据。 POST /v1.
-
冻结索引 - 云搜索服务 CSS
在执行冻结操作前,需冻结的索引没有数据写入。在冻结操作执行前,会将索引配置为read only,会导致写入数据出错。 在执行冻结操作后: 索引变为只读。 索引数据将会转储到OBS,转移过程中,会占用网络带宽。 转储后的索引,查询时延会增加。聚合时,由于查询复杂,数据读取多,时延变长会体现的更明显。
-
使用DIS导入本地数据到Elasticsearch - 云搜索服务 CSS
队列中的数据迁移到云搜索服务的待导入数据的集群中。 具体操作请参见《云数据迁移用户指南》中的表/文件迁移。 在已打开的Kibana的Console界面,通过搜索获取已导入的数据。 在Kibana控制台,输入如下命令,搜索数据。查看搜索结果,如果数据与导入数据一致,表示数据文件的数据已导入成功。
-
特性介绍 - 云搜索服务 CSS
聚合增强特性是业务感知的优化特性,通过该特性可以对可观测性业务聚合分析能力进行针对性优化。 聚合增强特性目前仅支持7.10.2版本集群。 特性原理 在大规模数据集聚合分析场景下,主要的耗时开销集中在对数据分组聚合。提升分组聚合能力依赖几个关键特性: 排序键:数据按照排序键顺序存储。
-
构造请求 - 云搜索服务 CSS
对于“获取用户Token”接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,********为用户的登录密码,domainname为用户所属的账号名称,如果是账号本身获取token,
-
重启集群 - 云搜索服务 CSS
集群停止工作时,您可通过重启集群恢复运行。 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。建议在业务空闲时操作。 背景信息 重启集群支持快速重启和滚动重启。
-
通过Go接入集群 - 云搜索服务 CSS
通过Go接入集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群 连接非安全集群,示例代码如下:
-
重启集群 - 云搜索服务 CSS
集群停止工作时,您可通过重启集群恢复运行。 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。建议在业务空闲时操作。 背景信息 重启集群支持快速重启和滚动重启。