检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2023-06-01 云搜索服务支持Logstash集群。 Logstash集群支持通过配置中心修改logstash的配置文件,支持将redis、elasticsearch、jdbc等多种数据源导入到Elasticsearch集群。
向量检索的客户端代码示例(Python) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装:
向量检索的客户端代码示例(Java) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装:
Elasticsearch集群访问方式 导入数据 Elasticsearch集群提供多种数据导入方式,包括Logstash、开源Elasticsearch API、云数据迁移服务CDM和数据复制服务DRS,支持不同来源和格式的数据导入,以及针对关系型数据库的实时同步,用户可根据业务场景和数据特性选择最佳方法。
互验证,因此,这里以Kibana为例介绍将数据导入到Elasticsearch的操作流程。 使用CDM从OBS导入数据到Elasticsearch 使用Logstash导入数据到Elasticsearch 使用Kibana或API导入数据到Elasticsearch 发布区域:华
响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 - File 请求示例 无 响应示例 状态码: 200 请求已成功,返回文件流。 "Certificate:xxxx" SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
有影响。 问题原因 在Elasticsearch集群中,Elasticsearch会占用50%内存,另外50%内存会被Lucene用于缓存文件,因此节点内存占用会一直很高,平均已用内存比例达到98%是正常现象,请您放心使用。 解决方案 您可以关注“最大JVM堆使用率”和“平均JV
日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation
日志采集关闭后,集群中已采集的日志不会被清空,仅当超过采集日志时设置的“保存周期”时才会被删除。 日志文件介绍 Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。 表3 日志文件类型 日志名称 描述 clustername_deprecation
当数据量比较大时,滚动重启耗时较长。 滚动重启 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群管理列表界面。
开启访问日志记录到文件 开启访问日志记录到文件后,客户端访问集群节点,会记录为{集群名_access_log.log}文件,通过日志备份功能可以在OBS详细查看访问日志。 该功能一般用于定位问题,问题解决后,建议关闭此开关。 执行如下命令,开启访问日志记录到文件。 PUT /_cluster/settings
志备份功能关闭或集群删除时,失败记录也会被清空。 查看日志文件。 日志备份成功后,用户可以单击“OBS桶”跳转到桶列表,找到存放备份日志的桶查看日志文件。 图1 进入OBS 日志文件介绍 Logstash集群备份的日志文件主要包括废弃操作日志、运行日志。 表2 日志类型信息 日志名称
当数据量比较大时,滚动重启耗时较长。 滚动重启 前提条件 确认集群的“任务状态”没有正在执行中的任务,且集群未被冻结。 当集群处于可用状态时,确认集群已停止处理业务数据(如导入数据、搜索数据),否则重启集群时可能导致数据丢失等。 快速重启 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群管理列表界面。
行跨区域复制OBS桶,再参考备份与恢复索引进行集群迁移。 在跨区域复制之前,要保证目标集群设置的快照文件夹为空,否则无法将快照信息刷新到目标集群的快照列表中。 每次迁移都需要将文件夹置空。 父主题: CSS集群迁移
2019年11月 序号 功能名称 功能描述 阶段 相关文档 1 新增参数配置功能 参数配置功能支持用户自己修改elasticsearch.yml文件的某些配置,以便实现相对应的功能。如支持跨域访问,集群索引重建等。 商用 参数配置 历史变更 关于云搜索服务(CSS)更多历史版本变更内容,请单击“查看PDF”详细了解。
对应索引节约资源。 准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用云搜索服务前检查账号状态,账号不能处于欠费或冻结状态。 如果您还没有华为账号,请参考以下步骤创建。 打开华为云网站。 在页面右上角单击“注册”,根据提示信息完成注册。 勾选服务条款, 单击“开通”。