检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DB for MySQL等)受限于全文检索和Ad Hoc查询能力,因此会将Elasticsearch作为关系型数据库的补充,以此提升数据库的全文检索能力和高并发的Ad Hoc查询能力。 构建日志管理平台 使用Elasticsearch和Logstash构建日志管理平台 使用云搜素
集群的数据结构和分布进行规划。这包括合理设计索引和确定分片数量。为了确保集群在性能和可扩展性方面达到最佳状态,以下是一些建议。 单个分片大小:建议将每个分片的大小控制在10GB到50GB之间。这有助于在存储效率和查询性能之间取得平衡。 集群总分片数量:为了管理方便和避免过度扩展,
在Kibana的左侧导航中选择“Dev Tools”,进入命令执行页面。 创建生命周期策略“hot_warm_policy”。 策略定义:当索引创建3天后,自动调用冻结索引API将数据转储到OBS;当索引创建6天后关闭索引,7天后归档索引;当索引创建满30天,删除该索引。 PUT _opendistro/_ism/
集群的数据结构和分布进行规划。这包括合理设计索引和确定分片数量。为了确保集群在性能和可扩展性方面达到最佳状态,以下是一些建议。 单个分片大小:建议将每个分片的大小控制在10GB到50GB之间。这有助于在存储效率和查询性能之间取得平衡。 集群总分片数量:为了管理方便和避免过度扩展,
Must be less than or equal to: [100000]. ...... 原因分析 当集群每调用一次scroll的创建接口,都会新建一个scroll使用的context,当scroll contexts的数目达到预定值时,将无法继续创建scroll。 处理步骤
通过HTTP对Elasticsearch的访问会收到响应和相应的状态码,但开源的Elasticsearch原生不支持对这些状态码进行统计,导致无法精确掌握接口调用的具体状况,用户也无法通过监控了解集群的整个请求情况。为了改进这一点,CSS服务新增了HTTP状态码监控功能,能够获取HTTP状态码统计信息。
ction reset by peer,TCP连接中断,业务数据写入失败。 原因分析 连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置问题,更换了连接服务器节点,网络不稳定等。
看索引分片在各数据节点的分配情况,可见集群状态为红色和“unassigned shards”不为0,表示集群存在无法分配的索引分片。 图1 集群健康状态 图2 cerebro可视化界面 原因分析 集群出现不可用状态的原因是集群有索引分片未正常分配。 处理步骤 步骤一:确认集群不可用原因
分布,如a索引共有6个shards,数据节点有3个,该配置值倾向于让a索引2、2、2平衡分配。 “balance.shard”:值越大,shard分配越倾向于使得所有分片(所有索引的)在节点上平衡,如索引a有2个shards,索引b有4个shards,该配置倾向于所有6个分片进行2、2、2平衡分配。
至目标集群后,直接删除源集群。暂停源集群的业务可以采用如下方式处理: 如果使用的集群版本支持流量控制功能,可以开启一键断流切断节点上除运维接口外的所有流量,拒绝所有请求。 如服务管理控制果使用的集群版本不支持流量控制功能,可以关闭所有业务索引的读写。例如所有业务索引以log开头,在Kibana的“Dev
易于操作和管理:在CSS服务控制台使用集群快照功能实现备份恢复,操作简单,且易于管理和自动化。 适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 支持跨地域和跨账号迁移:通过结合OBS的跨区域复制功能,可以实现跨地域和跨账号的数据迁移。 恢复过程可控:在恢复数据时,可
热数据切换可以减低存储成本,提升搜索效率。 切换冷热数据和存算分离比,更适用于对搜索性能要求高的场景,冷数据存储在集群本地的冷数据节点中,存储的数据量大小依赖冷数据节点数和磁盘容量,存储成本也会比OBS高一些。 只要集群有冷数据节点就支持。 切换OpenSearch集群冷热数据 父主题:
的基本信息。 内网访问地址 集群的内网IP地址和端口号,使用此参数可以接入集群。如果集群只有一个节点,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9600”;如果集群有多个节点,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9600
议。 内网访问IPv4地址 集群的内网IP地址和端口号,使用此参数可以接入集群。如果集群只有一个节点,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;如果集群有多个节点,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200
议。 内网访问IPv4地址 集群的内网IP地址和端口号,使用此参数可以接入集群。如果集群只有一个节点,此处仅显示1个节点的IP地址和端口号,例如“10.62.179.32:9200”;如果集群有多个节点,此处显示所有节点的IP地址和端口号,例如“10.62.179.32:9200
集群进行备份恢复或集群迁移操作后,“集群状态”变为“不可用”。 原因分析 集群出现此场景的原因可能是目标集群不支持被恢复的数据中某些数据类型,比如旧集群有安装一些插件或者定义settings,新集群没有,导致的索引分片无法分配。 处理步骤 在Kibana的“Dev Tools”页面,执行命令GET
的差值要小于等于1。 当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半,缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 当集群有Master节点时,每次缩容的Master节点个数要小于当前Maste
登录云搜索服务管理控制台。 在集群管理页面,单击集群列表上方的搜索栏,选择标签键和标签值进行搜索。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 父主题: 管理Elasticsearch集群
登录云搜索服务管理控制台。 在集群管理页面,单击集群列表上方的搜索栏,选择标签键和标签值进行搜索。 标签键和标签值仅支持从下拉列表中选择,当标签键和标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 系统最多支持10个不同标签的组合搜索。 父主题: 管理OpenSearch集群
的差值要小于等于1。 当集群没有Master节点时,每次缩容的数据节点和冷数据节点个数之和要小于缩容前数据节点和冷数据节点个数之和的一半,缩容后的数据节点和冷数据节点个数之和要大于索引的最大副本个数。 当集群有Master节点时,每次缩容的Master节点个数要小于当前Maste