-
Spring Boot使用Elasticsearch出现Connection reset by peer问题 - 云搜索服务 CSS
例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置问题,更换了连接服务器节点,网络不稳定等。 处理步骤 如果出现这种情况可以选择如下多种方式解决问题。
-
管理日志 - 云搜索服务 CSS
选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日志中进行匹配,查询结果最多显示100条。 备份日志 日志备份可以定期将CSS集群的日志存储到OBS桶中。 登录云搜索服务管理控制台。
-
Logstash配置文件样例 - 云搜索服务 CSS
目的数据的_id,如果不需要保留原_id,可以删除以下这行,删除后性能会更好 document_id => "%{[@metadata][_id]}" # 目的端ES证书,云上的集群保持以下不变;自建logstash集群,则需要在集群详情页面下载到节点里
-
通过Spring Boot接入集群 - 云搜索服务 CSS
elasticsearch.username=username elasticsearch.password=password 表1 参数说明 参数 描述 host Elasticsearch集群节点的IP地址。 username 访问集群的用户名。
-
成本管理 - 云搜索服务 CSS
在购买云资源时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图1 为云搜索服务选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源,按各种维度(例如用途、所有者或环境)对云资源进行分类的标记。
-
查询冷数据性能提升 - 云搜索服务 CSS
node 是 节点上,能够打开的冷数据缓存的最大数量。(每个shard对应一个缓存对象) 说明: 堆内存使用率一直很高,可以尝试降低该值。 如果查询冷数据本地缓存的相关统计指标中load_overflow_count数值一直持续快速增加,建议调大该值。
-
冻结索引 - 云搜索服务 CSS
GET _frozen_stats GET _frozen_stats/${node_id} 表7 请求参数说明 参数名 说明 node_id 获取单个节点的缓存状态,此参数为需要获取的节点id。
-
构造请求 - 云搜索服务 CSS
Endpoint 承载REST服务端点的服务器域名或IP,不同服务在不同区域,Endpoint不同,可以参考终端节点获取。例如IAM服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud.com”。
-
入门实践 - 云搜索服务 CSS
通过Curl命令行接入集群 当云搜搜服务和弹性云服务器ECS在同一VPC内时,在此ECS中可以通过Curl命令直接访问Elasticsearch 集群,此方法多用于前期调试Elasticsearch的连接性,排查访问集群的客户端是否和Elasticserach节点的网络连通。
-
管理日志 - 云搜索服务 CSS
选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日志中进行匹配,查询结果最多显示100条。 备份日志 日志备份可以定期将CSS集群的日志存储到OBS桶中。 登录云搜索服务管理控制台。
-
管理日志 - 云搜索服务 CSS
选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日志中进行匹配,查询结果最多显示100条。 备份日志 日志备份可以定期将CSS集群的日志存储到OBS桶中。 登录云搜索服务管理控制台。
-
使用Kibana创建用户并授权 - 云搜索服务 CSS
例如,集群只读权限选择read,表示仅可查看集群状态、集群节点等信息。 “Permissions: Single Permissions”:勾选Show Advanced后,单击“Add Single Permission”可以针对集群设置更精细的权限。
-
使用云服务Logstash增量迁移集群数据 - 云搜索服务 CSS
“节点数量”设置为“1”。“节点规格”选择“8U16G”,其余参数保持默认值。 图3 设置主机规格 设置集群的企业项目,保持默认值即可。 单击“下一步,网络配置”,设置集群的网络配置。
-
权限管理 - 云搜索服务 CSS
终端节点访问集群操作需要依赖VPCEndpoint Administrator系统角色。
-
集群内核升级 - 云搜索服务 CSS
inst_type 是 String 指定待升级的节点类型,当前仅支持all。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 target_image_id 是 String 目标镜像版本ID。 upgrade_type 是 String 升级类型。
-
使用云服务Logstash全量迁移集群数据 - 云搜索服务 CSS
“节点数量”设置为“1”。“节点规格”选择“8U16G”,其余参数保持默认值。 图3 设置主机规格 设置集群的企业项目,保持默认值即可。 单击“下一步,网络配置”,设置集群的网络配置。
-
查询日志 - 云搜索服务 CSS
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 instanceName 是 String 节点名称。通过查询集群详情获取instances中的name属性。 level 是 String 日志级别。
-
启动pipeline迁移数据 - 云搜索服务 CSS
开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 names 是 Array of strings 配置文件名称。
-
配置中心 - 云搜索服务 CSS
开启“保持常驻”适用于需要长期运行的业务,开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,短期业务开启保持常驻,如果源端无数据,会导致任务失败。
-
性能说明 - 云搜索服务 CSS
节点规格为ess.spec-4u16g、节点数为3的集群性能测试结果如下。