检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文主要介绍CSS集群的节点数量和配额限制,在使用云搜索服务的过程中,不同功能的限制请参见用户指南的相关章节。 集群的节点数量限制 下表显示了云搜索服务的集群节点数量的限制。 表1 Elasticsearch和OpenSearch集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量 默认
不连通,可以配置Logstash集群路由,连通集群间的网络,具体操作请参见配置Logstash集群路由。 启动配置文件 当管道列表没有“工作中”的任务时,通过启动配置文件启动Logstash迁移任务。可以同时选择多个配置文件进行启动操作,一次不能超过50个。 在配置文件列表,选择
<host>:<port>”样式。 当集群只有一个节点时,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;当集群有多个节点时,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200,10.62.179.33:9200”。 登录MRS集群节点,操作步骤请参见登录集群节点。
scaling 构建hnsw时上层图节点数的缩放比例,默认值50。 取值范围:(0, 128]。 efc 构建hnsw时考察邻居节点的队列大小,默认值为200,值越大精度越高,构建速度将会变慢。 取值范围:(0, 100000]。 max_scan_num 扫描节点上限,默认值为10000,值越大精度越高,索引速度变慢。
云搜索服务是以集群为单位进行组织,一个集群代表一个独立运行的搜索服务,由多个节点构成。 索引 用于存储Elasticsearch的数据,是一个或多个分片分组在一起的逻辑空间。 Shard 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求,Elasticsearch提供了一个
量化编码时中心点编码的size,默认为1。 基于上述计算方法,可预估出完整向量索引所需堆外内存的大小。选择集群规格时,还需考虑每个节点的堆内存开销。 节点的堆内存分配策略:每个节点的堆内存大小为节点物理内存的一半,且最大不超过31GB。 例如,基于SIFT10M数据集创建GRAPH索引,其“dim”为“
scaling 构建hnsw时上层图节点数的缩放比例,默认值50。 取值范围:(0, 128]。 efc 构建hnsw时考察邻居节点的队列大小,默认值为200,值越大精度越高,构建速度将会变慢。 取值范围:(0, 100000]。 max_scan_num 扫描节点上限,默认值为10000,值越大精度越高,索引速度变慢。
集群只有一个节点,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9600”;如果集群有多个节点,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9600,10.62.179.33:9600”。 节点信息 节点规格 集群中节点的规格信息。
ck缓存。缓存配置支持基于业务情况进行修改,配置项请参见表8。 表8 缓存的配置项 配置项 类型 说明 low_cost.obs.blockcache.names Array 缓存系统支持多级缓存,分别用来缓存不同访问粒度的数据。此配置列出所有缓存的名字,即使不配置,系统也会默认
射到角色,实现用户关联角色权限。 角色映射功能允许配置角色的成员,通过用户名、后端角色和主机名将用户分配给相应的角色。支持为每种角色配置集群访问权限、索引和文档的访问权限,以及Kibana的使用权限。 有关安全集群的更多安全配置信息以及详细的操作指导,可以参考Elasticsearch的安全模式官方介绍。
es-head插件连接Elasticsearch集群报跨域错误 解决方案 在安装es-head的云主机上测试网络是否连通。 网络连通后,登录云搜索服务管理控制台。 在“集群管理”页面,单击需要修改参数配置的集群名称,进入集群基本信息页面。 选择“参数配置”,单击“编辑”,将“http.cors.allow-origin”
tash集群的每个节点上配置指向源数据服务器IP的回程路由。 配置Logstash集群路由 配置Logstash迁移任务 通过Logstash集群的配置中心,可以创建并启动Logstash配置文件,以实现数据从不同数据源到目的端的迁移。 创建Logstash配置文件 启动Logstash迁移任务
参考文档 使用 规划集群 在创建Elasticsearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。 Elasticsearch集群规划建议
操作 参考文档 使用 规划集群 在创建OpenSearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。 OpenSearch集群规划建议
量化编码时中心点编码的size,默认为1。 基于上述计算方法,可预估出完整向量索引所需堆外内存的大小。选择集群规格时,还需考虑每个节点的堆内存开销。 节点的堆内存分配策略:每个节点的堆内存大小为节点物理内存的一半,且最大不超过31GB。 例如,基于SIFT10M数据集创建GRAPH索引,其“dim”为“
分词器或分片设置时,Reindex API可用于在迁移过程中重新配置索引结构。 方案架构 图1 迁移流程 通过Reindex API实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 在目标集群配置Reindex白名单,连接源集群和目标集群。 通过Reindex
当用户集群配置为5台16U128G的i3.4xlarge.8节点时,且每天上午5点左右会做大量bulk操作,写入大概100G-200G的数据,根据集群监控指标的CPU使用率、网络流入流出速率来看对ElasticSearch节点造成不了压力,网络连接数较高,其它节点情况也相同。但
total_shards_per_node”的值 = index_name索引分片数 / (数据节点个数 - 1) 参数值应设置稍微大一些,假设集群有10个节点,其中5个数据节点,2个client节点,3个master节点,有个索引的分片数为30,如果将total_shards_per_node值设
编辑完成后,单击“下一页”配置Logstash配置文件运行参数。 此示例保持默认值即可,如需设置请参见创建Logstash配置文件。 配置完成后,单击“创建”。 在配置中心页面可以看到创建的配置文件,状态为“可用”,表示创建成功。 启动全量迁移任务。 在配置文件列表,选择配置文件“es-es-all”,单击左上角的“启动”。
集群只有一个节点,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;如果集群有多个节点,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200,10.62.179.33:9200”。 节点信息 节点规格 集群中节点的规格信息。