检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash,然后推送数据到云搜索服务CSS,出现错误信息如下: LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
获取参数配置列表 功能介绍 该接口用于获取当前集群现有的YAML参数配置列表。 调用方法 请参见如何调用API。 URI GET /v1.0/{project_id}/clusters/{cluster_id}/ymls/template 表1 路径参数 参数 是否必选 参数类型
62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 Elasticsearch版本<7.x的数据 {"index":
务的OpenSearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的OpenSearch集群的访问地址。
lasticsearch集群。 操作步骤 创建一个弹性云服务器ECS。 ECS需要和CSS服务的集群在同一个虚拟私有云中。 ECS选择的安全组需要开放5601端口。 ECS需要绑定弹性公网IP。 操作指导请参见弹性云服务器ECS使用指南。 获取CSS服务的Elasticsearch集群的访问地址。
通过Go客户端接入Elasticsearch集群 本文介绍通过Go语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Go代码的服务器与CSS集群的网络是互通的。 确认服务器已安装Go,Go官网下载地址:https://go.dev/dl/。 连接非安全集群 连接非安全集群,示例代码如下:
请求被拒绝访问。返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 406 服务器无法根据客户端请求的内容特性完成请求。 500 表明服务端能被请求访问到,但是不能理解用户的请求。 501 服务器不支持请求的功能,无法完成请求。
62.179.33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如,将如下数据保存为json格式的文件,上传到ECS。 {"index": {"_index":"my_store"}}
preserve_existing=true { "index.max_result_window" : "10000000" } 方法2: 在服务器执行如下命令进行设置(以非安全集群为例): curl -k –XPUT ‘http://localhost:9200/_all/_setting
默认取值: 不涉及 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 backups Array of ListSnapshotBackupsResp objects 参数解释: 快照列表。 表3 ListSnapshotBackupsResp 参数
peer,TCP连接中断,业务数据写入失败。 原因分析 连接关闭有很多原因,是Elasticsearch服务器端不能完全控制的。例如,有可能关闭了连接,有可能有防火墙,交换机,VPN等,也有可能是keepalive设置问题,更换了连接服务器节点,网络不稳定等。 处理步骤 如果出现这种情况可以选择如下多种方式解决问题。
通过Python客户端接入Elasticsearch集群 本文介绍通过Python语言访问CSS集群的配置说明。 准备工作 CSS集群处于可用状态。 确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7
确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的9200端口的外网访问权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可。
确保已部署Logstash的弹性云服务器与待导入数据的集群在同一虚拟私有云下,已开放安全组的9200端口的外网访问权限,且弹性云服务器已绑定弹性IP。 如果同一个VPC内有多台服务器,只要其中一台绑定了弹性IP,其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可。
配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebro一键访问集群不需要填写集群访问地址,其他访问方式接入集群时都需要输入集群访问地址。 表2 集群的网络配置 网络环境 访问方式 场景介绍
流速模式 选择“不限速”。 同步对象类型 不勾选“同步表结构”,因为已经预先在Elasticsearch集群中创建了与MySQL中表相对应的索引。 同步对象 选择“表级同步”,选择与Elasticsearch对应的数据库以及表名。 说明: 配置项中type名称需要与索引名称一样,都是“_doc”,如果不一致请修改。
配置Elasticsearch集群的网络,确保服务器与集群的网络是互通的。同时,根据选择的网络获取集群的访问地址,除了Kibana和Cerebro一键访问集群不需要填写集群访问地址,其他访问方式接入集群时都需要输入集群访问地址。 表2 集群的网络配置 网络环境 访问方式 场景介绍
配置文件内容大小不能超过100k。 隐藏内容列表 配置隐藏字符串列表后,在返回的配置内容中,会将所有在列表中的字串隐藏为“***”。 输入需要隐藏的敏感字串列表,按“Enter”创建。 列表最大支持20条,单个字串最大长度512字节。 编辑完成后,单击“下一页”配置Logstash管道参数。 表2 管道参数说明
指向目标IP地址(即源数据所在的服务器IP地址)的回程路由,以此打通Logstash集群和数据源之间的网络。 配置Logstash集群路由 登录云搜索服务管理控制台。 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。 在集群列表,单击集群名称,进入集群基本信息页面。
400 非法请求。 建议直接修改该请求,不要重试该请求。 409 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 412 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 错误码 请参见错误码。