采集管理-华为云

应用运维管理 AOM-ICAgent和UniAgent是同一个插件吗？

ICAgent和UniAgent是同一个插件吗？ ICAgent属于插件，UniAgent不属于插件，二者不是同一个含义。 UniAgent：UniAgent的全称是统一数据采集Agent，主要是作为云服务运维系统的底座，为 AOM 提供指令下发，如脚本下发和执行，用于插件集成（ICAgent、 CES 、telescope等）并维护其状态。UniAgent对外功能主要是为AOM服务提供中间件指标采集和自定义指标采集的能力，为COC和CAST服务提供作业通道。 UniAgent本身不提供数据采集能力，运维数据由不同的插件分工采集。 ICAgent：ICAgent插件主要是作为AOM和LTS的采集端，用于指标采集和日志采集。图1 ICAgent和UniAgent概述图父主题：采集管理

应用运维管理 AOM 采集管理

安全云脑 SECMASTER-连接器规则说明:目的连接器

目的连接器安全云脑租户采集连接器，目前支持的目的连接器类型如下表所示：表9 目的连接器类型连接器名称对应的logstash插件描述文件 File file 用于写入到节点本地文件，配置规则请参见表10。传输控制协议 TCP tcp 用于发送TCP协议日志，配置规则请参见表11。用户数据协议 UDP udp 用于发送UDP协议日志，配置规则请参见表12。消息队列 KAFKA kafka 用于将日志写入Kafka消息队列，配置规则请参见表13。对象存储 OBS obs 用于写日志到对象存储OBS 桶中，配置规则请参见表14。云脑管道 PIPE pipe 用于将日志写入安全云脑管道中，配置规则请参见表15。表10 file连接器配置规则规则对应logstash配置项类型默认值是否必填描述输出路径 path string /opt/cloud/logstash/config/out.txt 是输出节点文件路径删除时创建 create_if_deleted boolean true 是不存在则创建解码类型 codec string json_lines 是 Codec plain：读取原始内容 json_lines：处理json格式内容表11 tcp连接器配置规则规则对应logstash配置项类型默认值是否必填描述端口 port number 1025 是端口解码类型 codec string plain 是解码类型，json_lines或者plain plain：读取原始内容 json_lines：处理json格式内容主机地址 host string 192.168.0.66 是 host地址注：与节点网络互通 ssl证书 ssl_cert file -- 否 ssl_cert证书是否SSL ssl_enable boolean false 否是否开启ssl ssl-key文件 ssl_key file -- 否 ssl_key文件 ssl秘钥 ssl_key_passphrase string -- 否 ssl_key_passphrase密钥表12 udp连接器配置规则规则对应logstash配置项类型默认值是否必填描述主机地址 host string -- 是主机地址注：与节点网络互通端口 port number 1025 是端口解码类型 codec string json_lines 是解码类型，json_lines或者plain plain：读取原始内容 json_lines：处理json格式内容重试次数 retry_count number 3 否重试次数重试延迟毫秒数 retry_backoff_ms number 200 否重试延迟毫秒数表13 kafka连接器配置规则规则对应logstash配置项类型默认值是否必填描述服务地址 bootstrap_servers string -- 是服务地址eg:192.168.21.21:9092,192.168.21.24:9999 主题 topic_id string logstash 是主题解码类型 codec string plain 是解码类型，json或者plain 请求体最大长度 max_request_size number 10485760 是请求体最大长度 SSL证书 ssl_truststore_location file -- 否 SSL证书当选择SSL相关协议时需要填写该参数 SSL秘钥 ssl_truststore_password string -- 否 SSL秘钥当选择SSL相关协议时需要填写该参数安全协议 security_protocol string PLAINTEXT 否安全协议 sasl连接配置 sasl_jaas_config string -- 否 sasl连接配置是否加密 is_pw_encrypted string true 否是否加密 sasl机制 sasl_mechanism string PLAIN 否 sasl_mechanism 其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：明文连接配置 org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码'; 密文连接配置 org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码'; 表14 obs连接器配置规则规则对应logstash配置项类型默认值是否必填描述 region region string cn-north-4 是 region 桶 bucket string demo-obs-sec-mrd-datas 是桶名 endpoint endpoint string https://obs.huawei.com 是 endpoint 缓存文件夹 temporary_directory string /temp/logstash/ 是缓存路径编码类型 codec string plain 否编码格式plain或者json AK ak string -- 否 AK SK sk string -- 否 SK 前缀 prefix string test 否路劲前缀编码格式 encoding string gzip 否编码格式gzip或者纯文件记忆路径 sincedb_path string /opt/cloud/logstash/pipeline/file_name 否用于设置读取的位置信息，防止重启导致的全文遍历表15 pipe连接器配置规则规则对应logstash配置项类型默认值是否必填描述类型 type string 租户是类型管道 pipeId string -- 是管道 AK ak string -- 是 AK 选择平台类型需填写该参数 SK sk string -- 是 SK 选择平台类型需填写该参数域账户 domain_name string domain_name 是 iam账户domain_name 选择租户类型需填写该参数用户名 user_name string user_name 是 iam账户user_name 选择租户类型需填写该参数密码 user_password string -- 是 iam账户user_password 选择租户类型需填写该参数压缩类型 compression_type string NONE 否报文压缩类型队列满阻止 block_if_queue_full boolean true 否队列满阻止进入启用批处理 enable_batching boolean true 否是否开启批处理

安全云脑 SECMASTER 采集管理

安全云脑 SECMASTER-连接器规则说明:源连接器

源连接器安全云脑租户采集连接器，目前支持的源连接器类型如下表所示：表1 源连接器类型连接器名称对应的logstash插件描述传输控制协议 TCP tcp 用于接收TCP协议日志，配置规则请参见表2。文件 File file 用于接收本地文件的日志类型，配置规则请参见表3。用户数据协议 UDP udp 用于接收UDP协议日志，配置规则请参见表4。对象存储 OBS obs 用于读取对象存储OBS桶的日志数据，配置规则请参见表5。消息队列 KAFKA kafka 用于读取Kafka网络日志数据，配置规则请参见表6。云脑管道 PIPE pipe 用于将安全云脑数据外发到租户侧，配置规则请参见表7。 Elasticsearch CSS elasticsearch 用于读去ES集群的数据，配置规则请参见表8。表2 tcp连接器配置规则规则对应logstash配置项类型默认值是否必填描述端口 port number 1025 是采集节点端口号解码类型 codec string plain 是编码格式 plain：读取原始内容 json：处理json格式内容报文标签 type string tcp 是用于对日志标签是否SSL ssl_enable boolean false 否是否开启ssl认证 ssl证书 ssl_cert file null 否 cert证书 ssl-key文件 ssl_key file -- 否 ssl-key文件 ssl秘钥 ssl_key_passphrase string -- 否 ssl证书密钥表3 file连接器配置规则规则对应logstash配置项类型默认值是否必填描述文件路径 path array /opt/cloud/logstash/config/in.txt 是读取的文件路径开始位置 start_position string beginning 是开始读入的位置解码类型 codec string json 是解码类型codec plain：读取原始内容 json：处理json格式内容报文标签 type string file 否报文标签，有于后续处理的标记启用度量 enable_metric boolean true 否 enableMetric 表4 udp连接器配置规则规则对应logstash配置项类型默认值是否必填描述端口 port number 1025 是采集节点端口好解码类型 codec string plain 是解码类型 plain：读取原始内容 json：处理json格式内容报文标签 type string udp 否报文标签，有于后续处理的标记队列大小 queue_size number 20000 否队列大小接收缓冲区字节数 receive_buffer_bytes number 20000 否接收缓冲区字节数缓冲区大小 buffer_size number 10000 否缓冲区大小工作线程 workers number 1 否工作线程数表5 obs连接器配置规则规则对应logstash配置项类型默认值是否必填描述 region region string cn-north-4 是 region 桶 bucket string demo-obs-sec-mrd-datas 是对象桶名 endpoint endpoint string https://obs.huawei.com 是 endpoint地址，注意要添加https AK ak string -- 否 AK SK sk string -- 否 SK 前缀 prefix string /test 否日志读的文件夹前缀缓存文件夹 temporary_directory string /temp 否日志读取时，缓存的文件夹报文标签 type string -- 否报文标签记忆路径 sincedb_path string /opt/cloud/logstash/pipeline/file_name 否用于设置读取的位置信息，防止重启导致的全文遍历表6 kafka连接器配置规则规则对应logstash配置项类型默认值是否必填描述服务地址 bootstrap_servers string -- 是服务地址主题 topics array logstash 是主题，可同时消费多个主题消费线程 consumer_threads number 1 是消费线程偏移复位 auto_offset_reset string latest 否偏移复位 earliest：读取最早的消息 latest：读取最新的消息 SSL证书 ssl_truststore_location file -- 否 SSL证书当选择SSL相关协议时需要填写该参数 SSL秘钥 ssl_truststore_password string -- 否 SSL秘钥当选择SSL相关协议时需要填写该参数安全协议 security_protocol string SASL_SSL 否安全协议 sasl连接配置 sasl_jaas_config string -- 否 sasl连接配置是否加密 is_pw_encrypted string false 否是否加密 sasl机制 sasl_mechanism string PLAIN 否 sasl_mechanism 分组Id group_id string -- 否 group_id 其中，“sasl连接配置”需要根据kafka规格进行填写。示例如下：明文连接配置 org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码'; 密文连接配置 org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码'; 表7 pipe连接器配置规则规则对应logstash配置项类型默认值是否必填描述类型 type string 租户是类型管道 pipeId string -- 是管道id 域账户 domain_name string domain_name 是 iam账户domaionName 用户名 user_name string user_name 是 iam账户user_name 密码 user_password string -- 是 iam账户user_password 订阅类型 subscription_type string true 否订阅类型 Shared：共享模式 Exclusive：独占模式 Failover：灾备模式订阅初始位置 subscription_initial_position string true 否订阅初始位置表8 elasticsearch连接器配置规则规则对应logstash配置项类型默认值是否必填描述主机地址 hosts array -- 是主机地址索引 index string -- 是索引检索语句 query string -- 是检索语句用户名 user string -- 是用户名密码 user_password string -- 是密码查询数量 size number 20 是查询数量卷 scroll string 5m 是卷文档信息 docinfo boolean true 是文档信息是否配置加密 is_pw_encrypted boolean true 是是否配置加密是否SSL ssl boolean true 否是否SSL 证书文件 ca_file file -- 否证书文件是否SSL证书校验 ssl_certificate_verification boolean true 否是否SSL校验

安全云脑 SECMASTER 采集管理

安全云脑 SECMASTER-创建/编辑解析器:操作场景

操作场景安全云脑默认内置快速接入解析器，可根据需要进行选择：表1 解析器场景说明类型场景快速接入无需对源数据进行处理直接传输。模板需要对数据源进行清理、字段加工处理等操作的时候，可以根据用户需要的使用场景进行模板选择，创建对应的解析器。自定义需要对数据源进行清理、字段加工处理等操作的时候，模板中不包含用户需要的使用场景的时候，可以自定义用户的解析器，配置对应的处理规则。本章节主要介绍创建/编辑解析器。

安全云脑 SECMASTER 采集管理

应用运维管理 AOM-如何创建终端节点？

如何创建终端节点？当前支持通过创建终端节点和AOM/LTS服务打通网络，进行心跳和指标上报，以及日志上报。如果要通过终端节点的方式打通AOM/LTS的网络，需要为AOM和LTS各自购买1个终端节点。目前此功能仅支持西南-贵阳一局点，其他局点暂不支持。创建AOM/LTS终端节点的方法：登录华为云 VPC终端节点 VPCEP控制台，进入终端节点页面。单击“购买终端节点”。在购买终端节点页面，选择终端节点所在的区域，“服务类别”选择“云服务”，在“选择服务”下方查找并选择AOM的云服务，并且勾选“创建内网域名 ”，选择终端节点所在的虚拟私有云和子网，其他参数默认设置，更多操作请参考购买终端节点。设置完成后，单击“立即购买”。购买成功后，即可完成AOM终端节点的创建。重复上面步骤，需要再购买1个终端节点，选择终端节点所在的区域，“服务类别”选择“云服务”，在“选择服务”下方查找并选择LTS的云服务，并且勾选“创建内网域名”，选择终端节点所在的虚拟私有云和子网，其他参数默认设置。设置完成后，单击“立即购买”。购买成功后，即可完成了LTS终端节点的创建。父主题：采集管理

应用运维管理 AOM 采集管理

应用运维管理 AOM-如何获取AK/SK？:操作步骤

操作步骤登录控制台，将鼠标移动到右上方的用户名称，并在下拉列表中选择“我的凭证”。在“我的凭证”页面中选择“访问密钥”页签。在列表上方单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载AK/SK。创建访问密钥成功后，您可以在访问密钥列表中查看访问密钥ID（AK），在下载的.csv文件中查看秘密访问密钥（SK）。请及时下载保存，弹窗关闭后将无法再次获取该密钥信息，但您可重新创建新的密钥。当您下载访问密钥后，可以在浏览器页面左下角打开格式为.csv的访问密钥文件，或在浏览器“下载内容”中打开。为了账号安全性，建议您妥善保管并定期修改访问密钥，修改访问密钥的方法为删除旧访问密钥，然后重新生成。

应用运维管理 AOM 采集管理

云服务器内容精选

采集管理

7*24

备案

专业服务

退订

建议反馈

售前咨询热线