检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
务的OpenSearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的OpenSearch集群的访问地址。
lasticsearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的Elasticsearch集群的访问地址。
name String 后端服务器名称。 address String 后端服务器对应的IP地址。 protocol_port Integer 后端服务器业务端口号。 operating_status String 后端云服务器的健康状态。ONLINE:后端云服务器正常。NO_MONIT
创建独享型负载均衡器 登录弹性负载均衡管理控制台。 参考创建独享型负载均衡器,创建独享型负载均衡器。CSS集群对接独享型负载均衡器所需要关注的参数如表3所示,其他参数请根据实际需要填写。 表3 独享型负载均衡器的配置说明 参数 配置说明 取值样例 实例类型 选择“独享型”。 独享型
创建独享型负载均衡器 登录弹性负载均衡管理控制台。 参考创建独享型负载均衡器,创建独享型负载均衡器。CSS集群对接独享型负载均衡器所需要关注的参数如表3所示,其他参数请根据实际需要填写。 表3 独享型负载均衡器的配置说明 参数 配置说明 取值样例 实例类型 选择“独享型”。 独享型
杂查询的构建,如范围查询、模糊查询、聚合查询等,这在关系型数据库中可能需要更复杂的SQL语句来实现。 统计分析能力:Elasticsearch的聚合功能可以快速进行数据统计和分析,如年龄分布统计等,这在关系型数据库中可能需要更多的计算资源和时间。 安全性和稳定性:通过配置安全模式
62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 Elasticsearch版本<7.x的数据 {"index":
权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可。 如果有专线或者VPN,也不需要绑定弹性IP。 使用PuTTY登录弹性云服务器。 例如
权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可。 如果有专线或者VPN,也不需要绑定弹性IP。 使用PuTTY登录弹性云服务器。 例如
勾选的话只会生成一个“节点IP”。 创建专业型终端节点 选择是否创建专业型终端节点。 不勾选,则创建基础型终端节点。 勾选,则创建专业型终端节点。 说明: 当集群所在区域不支持创建专业型终端节点时,该选项将置灰不可选。默认创建的是基础型终端节点。 IPv4/IPv6双栈网络 选择
勾选的话只会生成一个“节点IP”。 创建专业型终端节点 选择是否创建专业型终端节点。 不勾选,则创建基础型终端节点。 勾选,则创建专业型终端节点。 说明: 当集群所在区域不支持创建专业型终端节点时,该选项将置灰不可选。默认创建的是基础型终端节点。 IPv4/IPv6双栈网络 选择
通过Go客户端接入Elasticsearch集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群 连接非安全集群,示例代码如下:
准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7.6.2,则安装7.6的Elasticsearch
网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebro一键访问集群不需要填写集群访问地址,其他访问方式接入集群时都需要输入集群访问地址。 表2 集群的网络配置 网络环境 访问方式
Logstash集群路由。 当Logstash集群和数据源的子网不在同一个主网卡时,需要配置Logstash集群路由,给Logstash集群的每个节点新增一个指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以此打通Logstash集群和数据源之间的网络。 约束限制 修
62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 {"index": {"_index":"my_store"}}
网络配置 配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebro一键访问集群不需要填写集群访问地址,其他访问方式接入集群时都需要输入集群访问地址。 表2 集群的网络配置 网络环境 访问方式
preserve_existing=true { "index.max_result_window" : "10000000" } 方法2: 在服务器执行如下命令进行设置(以非安全集群为例): curl -k –XPUT ‘http://localhost:9200/_all/_setting
peer,TCP连接中断,业务数据写入失败。 原因分析 连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置问题,更换了连接服务器节点,网络不稳定等。 处理步骤 如果出现这种情况可以选择如下多种方式解决问题。