检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Elasticsearch集群 访问集群 Elasticsearch集群提供多样化的访问方式,包括Kibana、Cerebro、开源API、Java、Python和Go客户端,以及通过内网和公网的多种网络配置,用户可根据编程语言偏好和网络环境选择最合适的接入方法。 Elasticsearch集群访问方式 导入数据
主词词库 主词为用户希望进行分词的特殊词语,例如“智能手机”和“喜大普奔”。主词词库则是用户自定义的特殊词语的集合。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,主词文件最大支持100M。如果涉及单词,必须改成小写字母。 停词词库 停词为用户不希望进行分词或
进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 建议在业务空闲时操作。 2023年2月之前创建的集群无法进行安全组修改,建议使用备份与恢复迁移集群数据至新集群后,进行安全组修改。 登录云搜索服务控制台。 选择“集群管理”进入集群列表。
向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: # 根据集群实际版本填写,此处以7.6举例 pip install elasticsearch==7.6 代码示例 from elasticsearch
arch集群的副本数量。 登录云搜索服务管理控制台。 在左侧导航栏中,选择“集群管理 > Elasticsearch”,进入集群管理列表页面。 选择待导入数据的集群,单击操作列“Kibana”,登录Kibana。 单击左侧导航栏的“Dev Tools”进入操作页面。 在Kiban
max_num_segments=1 如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制索引的换进换出,导致查询变慢,此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker
安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTP协议明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 可以实现用户权限隔离,适用于对集群性能敏感的场景。 优点:访问集群需要安全认证,提升了集群安全性。通过HTTP协议访问集群又能保留集群的高性能。
Logstash配置中心界面 在配置中心界面,单击右上角“创建”,进入创建配置文件页面,编辑配置文件。 图7 配置任务 表5 创建配置文件参数说明 参数 说明 取值样例 名称 自定义配置文件名称。 只能包含字母、数字、中划线或下划线,且必须以字母开头。必须大于等于4个字符。 es-es
公网带宽 集群开通公网访问或者Kibana公网访问功能时,会产生带宽费用,带宽的计费模式同为按需计费。 假设您计划购买一个节点存储为高I/O 40GB的集群,且选择Kibana公网访问。在购买集群的配置确认页面,您将看到所需费用的明细,如图1所示。 图1 配置费用示例 配置费用将包括以下部分:
lClient client) { this.client = client; } // 创建非安全集群访问客户端 public static RestHighLevelClient getClient(List<String> hosts
需要4字节。 num 向量总条数。 delta 元数据大小,该项通常可以忽略。 frag_num 量化编码时的向量分段数,创建索引时如果未配置该值,则由向量维度“dim”决定。 if dim <= 256: frag_num = dim / 4 elif dim <= 512:
将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置Elasticsearch集群向量检索
安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTP协议明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 可以实现用户权限隔离,适用于对集群性能敏感的场景。 优点:访问集群需要安全认证,提升了集群安全性。通过HTTP协议访问集群又能保留集群的高性能。
功的集群进行日常监控。配置集群监控后,就可以在CES管理控制台直观查看集群的监控指标数据。 配置集群监控的操作流程: 配置告警规则:根据实际业务需要对监控指标设置自定义告警规则,当监控指标超过设置的阈值时,会以邮箱、HTTP、HTTPS等方式通知您。 配置监控对象:为集群或集群中某个节点配置监控指标。
s3-7.10.2.zip” 登录自建Elasticsearch集群的实例节点上,并cd到plugins目录下。 执行如下命令将repository-s3插件安装包解压到plugins目录下。 unzip repository-s3-7.10.2.zip -d plugins/repository-s3
主词词库 主词为用户希望进行分词的特殊词语,例如“智能手机”和“喜大普奔”。主词词库则是用户自定义的特殊词语的集合。 词库文件必须是UTF-8无BOM格式编码的文本文件,一行一个分词,主词文件最大支持100M。如果涉及单词,必须改成小写字母。 停词词库 停词为用户不希望进行分词或
包年/包月集群开通公网访问或者Kibana公网访问功能时,会产生带宽费用,带宽的计费模式同为包年/包月。 假设您计划购买一个节点存储为高I/O 40GB的集群,且选择Kibana公网访问。在购买集群的配置确认页面,您将看到所需费用的明细,如图1所示。 图1 配置费用示例 配置费用将包括以下部分:
max_num_segments=1 如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制索引的换进换出,导致查询变慢,此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker
10.2 配置Elasticsearch集群存算分离 流量控制2.0 流量控制2.0提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制,基于节点内存的客户端写入流量反压控制,一键断流能力。同时也提供节点访问IP统计和U
安全模式的集群需要通过安全认证才能访问,且支持对集群进行授权、加密等功能。采用HTTP协议明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 可以实现用户权限隔离,适用于对集群性能敏感的场景。 优点:访问集群需要安全认证,提升了集群安全性。通过HTTP协议访问集群又能保留集群的高性能。