云服务器内容精选

  • 基本概念 本部分介绍日志采集中涉及的基本概念的描述及其作用。 日志采集组件(Logstash):用于日志采集、日志传输。 组件控制器(isap-agent):用于管理日志采集组件(Logstash)等。 日志采集器节点:用于采集日志到云脑,以及 安全云脑 日志转出。 一台E CS ,安装了安全云脑组件控制器,组件控制器中安装了日志采集组件。单个租户只需要配置安装一台日志采集器节点。 图2 日志采集器节点架构图 采集器:定制化的Logstash。采集器节点则是定制化的Logstash+组件控制器(isap-agent)。 连接器:Logstash配置的基础概念,主要包括input、output两部分,分别对应源连接器、目的连接器,用于定义采集器Logstash接受数据方式和规范。其中,安全云脑管道pipe连接器可以对接安全云脑,实现租户数据上报安全云脑,安全云脑数据转储到租户的能力。 解析器:Logstash配置的基础概念,主要为Logstash的filter部分,安全云脑解析器是对其filter部分的无码化封装和定制,用户只需在页面上配置解析器规则即可生成原生的filter配置脚本,从而轻松实现将原始日志转化为目标格式。 采集通道:采集通道等价于Logstash的pipeline,在Logstash可以配置多个pipeline,每个pipeline包括input、filter、output部分,每个pipeline为单独的作业,互不影响。在安全云脑租户采集上,可将相同的pipeline部署在多个节点上,并且配置相同的pipeline视为一个采集通道。
  • 日志接入或转出支持的传输协议类型以及日志格式 表2 日志接入或转出支持的传输协议类型以及日志格式 场景 支持的传输协议类型 支持的日志格式 日志接入安全云脑 传输控制协议 TCP json、syslog、plain 用户数据协议 UDP json、syslog、plain 对象存储 OBS json、plain 消息队列 Kafka json、plain 云脑管道 Pipe json、plain ElasticSearch CSS json、plain 日志从安全云脑转出 传输控制协议 TCP json 用户数据协议 UDP json 消息队列 Kafka json 对象存储 OBS json 云脑管道 Pipe json