检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用华为云Logstash迁移Elasticsearch集群的Logstash配置文件样例 本文以源端和目的端是相同类型的CSS Elasticsearch集群为例,介绍使用Logstash进行集群迁移的配置文件样例。当源端和目的端的Elasticsearch集群类型不同时,可以参考本文样例中的input和output模块自由组合出合适的配置文件。
max_result_window":"1000000" } “localhost”是Elasticsearch集群的访问地址。 该配置会相应的消耗内存与CPU,请谨慎设置。 父主题: CSS集群搜索引擎使用
向量检索的客户端代码示例(Java) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
静态主词词库 静态主词词库是预置的常用词语的主词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态主词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态主词库时,单击“不使用此词库”,删除词库。 静态停词词库 静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。
节点规格:根据所选配置(包括vCPU和内存)计算的费用。 节点存储:节点的存储费用。 Kibana公网带宽:根据所选带宽大小计算的费用。 计费周期 按需计费集群按小时计费,每一个小时整点结算一次费用(以UTC+8时间为准),不足一小时按一小时计费,结算完毕后进入新的计费周期。计费的起点以集群创建成功的时间点为准,终点以实例删除时间为准。
CSS服务中为什么新创建的索引分片集中分配到单节点上? 原因分析 新建索引分片被集中分配于一个node节点上可能有以下原因: 之前索引的分配导致某个节点上的shards数量过少,新建索引shards分配被balance.shard参数主导,为了平衡所有索引的全部分片,将shards集中分配在数量过少的节点上。
够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_
CSS集群处于可用状态。 确保客户端与CSS集群的网络是互通的。 确保CSS集群和MRS集群在同一个区域、可用区、虚拟私有云和子网。 图1 CSS集群的区域等信息 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问
各个分片的大小。 GET _cat/shards?index=index_name&v 检查分片数是否分布不均匀。 提供如下两种方式查看: 通过CSS控制台集群详情页的“集群监控”中的“节点状态”查看,具体操作可参见查看监控指标。 通过CURL客户端,查看集群各个节点的分片个数。
如果没有ingest业务时,那么客户端节点是不是就处于空闲状态? 解决方案 集群节点的“node.roles”为“i”时,表示集群的客户端节点上启用了ingest节点模式。 Elasticsearch的“coordinating only node”在CSS服务中称为“client
成后会自己断开,长连接在发包完成后, 会在一定的时间内保持连接,即通常所说的Keepalive(存活定时器)功能。 TCP保活机制 保活机制是由一个保活计时器实现的。当计时器被激发,连接一端将发送一个保活探测报文, 另一端接收报文的同时会发送一个ACK作为响应。 如果客户端无响应
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将CSS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CSS服务的其他功能。
包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式,您可以预先购买云搜索服务并获得一定程度的价格优惠。本章节将详细介绍包年/包月集群的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以
在从集群执行如下命令,终止索引名称对应的同步任务,后续主集群对该索引的修改不会被同步到从集群,并且从集群中该索引的只读状态解除,支持新数据的写入。 PUT log*/stop_remote_sync “log*”表示索引名称,支持指定多个索引(多个索引之间用英文逗号分隔)和使用通配符,此例是停止以“log”开头的索引的同步任务。
静态主词词库 静态主词词库是预置的常用词语的主词库。默认选择“不更新”表示使用该预置词库。 当需要修改预置的静态主词词库时,单击“更新”,选择txt格式的词库文件。 当不使用静态主词库时,单击“不使用此词库”,删除词库。 静态停词词库 静态停词词库是预置的常用词语的停词库。默认选择“不更新”表示使用该预置词库。
指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 endpoint 是 DIS对应Region的数据接口地址。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。
使用备份与恢复迁移集群的核心在于直接复制数据存储层的文件以实现数据备份,该方案避免了对Elasticsearch外部读写接口的依赖,从而显著降低了对源集群性能的影响。对于对业务延迟要求不严苛的集群而言,此方法对性能的干扰几乎可以忽略。 约束限制 目标集群的版本不能低于源集群的版本,版本兼容性分析请参见Snapshot
配置Filebeat的配置文件“filebeat.yml”。 例如,采集“/root/”目录下以“log”结尾的所有文件,配置文件“filebeat.yml”中的内容如下: filebeat.inputs: - type: log enabled: true # 采集的日志文件路径。
索引监控 云搜索服务的索引监控特性提供了丰富的监控指标,用以监控集群索引的运行状况和变化趋势,衡量业务使用情况,同时可以针对可能存在的风险及时处理,保障集群的稳定运行。详情请参见索引监控。 集群监控增强 云搜索服务支持集群监控增强,支持对集群Search请求的P99时延进行监控、