检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ECS服务器部署Logstash推送数据到CSS服务报错 问题现象 ECS服务器部署logstash，然后推送数据到云搜索服务CSS，出现错误信息如下： LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError:
信息，如图1所示。 图1 获取信息 配置NAT网关 创建NAT网关。 登录控制台，在“服务列表”搜索“NAT网关”，进入网络控制台页面。 单击“购买NAT网关”，配置NAT网关的相关信息。详细请参考《NAT网关用户指南》购买NAT网关。 “虚拟私有云”和“子网”配置为获取云搜索服务信息获取的信息。
33:9200”。 登录即将接入集群的弹性云服务器ECS。 弹性云服务器的使用指导请参见快速购买和使用Linux ECS。 将JSON数据文件上传至ECS。 例如，将如下数据保存为json格式的文件，上传到ECS。 Elasticsearch版本<7.x的数据 {"index": {"_index":"my_store"
by peer，TCP连接中断，业务数据写入失败。 原因分析 连接关闭有很多原因，是Elasticsearch服务器端不能完全控制的。例如，有可能关闭了连接，有可能有防火墙，交换机，VPN等，也有可能是keepalive设置问题，更换了连接服务器节点，网络不稳定等。 处理步骤 如果
确认变更信息后，单击“提交申请”，在数据迁移弹窗中确认是否进行数据迁移（建议勾选“进行数据迁移”避免数据丢失），单击“确认”提交申请。 数据迁移过程中，系统会把待下线节点中的所有数据分片移动到剩余节点，待数据迁移完成后再进行节点下线操作。当待下线节点上的数据在剩余节点存在副本时，可跳过数据迁移，缩短集群变更时间，减少数据迁移带来的负载压力。
lse”时，表示导入数据成功。 图1 返回消息 在ECS服务器上使用开源OpenSearch API导入数据 在ECS服务器上支持通过Curl命令使用开源OpenSearch API导入JSON数据文件。 本案例以非安全模式的集群为例介绍Curl命令导入数据，如果是安全模式的集群
一致，表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时，导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图 确保已部署L
一致，表示数据文件的数据已导入成功。 GET myindex/_search Logstash部署在弹性云服务器上时导入数据 当Logstash部署在同一VPC的弹性云服务时，导入数据的流程说明如图3所示。 图3 Logstash部署在弹性云服务器上时导入数据示意图 确保已部署L
数据导入导出类 Elasticsearch显示CPU使用率高，导致日志无法写入 ECS服务器部署Logstash推送数据到CSS服务报错 ES-Hadoop导数据时报"Could not write all entries"异常
确认变更信息后，单击“提交申请”，在数据迁移弹窗中确认是否进行数据迁移（建议勾选“进行数据迁移”避免数据丢失），单击“确认”提交申请。 数据迁移过程中，系统会把待下线节点中的所有数据分片移动到剩余节点，待数据迁移完成后再进行节点下线操作。当待下线节点上的数据在剩余节点存在副本时，可跳过数据迁移，缩短集群变更时间，减少数据迁移带来的负载压力。
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
断控制程序，根据选择的中断策略将其中一条大查询请求进行中断，取消其正在运行的查询任务。大查询隔离同时支持全局查询超时配置，用户可实时配置所有查询请求的超时时间，中断超时查询请求。 大查询隔离可以有效解决以下问题，提升集群的搜索能力。 部分查询占用了很高的节点堆内存，导致机器频繁Garbage
当Logstash集群和数据源的子网在同一个主网卡时，两者的网络互通，无需配置Logstash集群路由。 当Logstash集群和数据源的子网不在同一个主网卡时，需要配置Logstash集群路由，给Logstash集群的每个节点新增一个指向目标IP地址（即源数据所在的服务器IP地址）的回程
h集群数据导入性能。 表1 Elasticsearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道，支持多个来源采取数据。适用场景多，比如日志数据、监控数据、metric数据等流数据。
启动pipeline迁移数据 功能介绍 该接口用于启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/start 表1 路径参数 参数 是否必选 参数类型
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
停止pipeline迁移数据 功能介绍 该接口用于停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/stop 表1 路径参数 参数 是否必选 参数类型
方案，从不同的数据源（input）迁移数据到不同的目的端（output）。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件，最多可以同时存在5个“状态”为“校验中”的配置文件。 前提条件 创建配置文件前，必须先获取数据源和目的端的服
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
热停止pipeline迁移数据 功能介绍 该接口用于热停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-stop 表1 路径参数 参数 是否必选
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
