检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置 数据集成 数据采集 目录定制
在新增解析器页面中,进行参数配置。 表2 新增解析器 参数名称 参数说明 基本信息 名称 设置解析器名称。 描述 输入解析器描述信息。 规则列表 设置解析器解析规则。操作步骤如下: 单击“添加”,并选择规则类型。 解析规则:选择解析器的解析规则,详细参数说明请参见解析器规则说明。 条件控制:选择解析器的条件控制原
进入目标工作空间管理页面 在左侧导航栏选择“设置 > 采集管理”,进入采集管理页面后,选择“解析器管理”页签,进入解析器管理页面。 图2 进入解析器管理页面 在解析器管理页面中,查看解析器的详细信息。 表1 解析器管理参数说明 参数名称 参数说明 名称 解析器的名称。 引用通道 解析器被引用的通道数量。
prune解析 prune 黑白名单解析,解析规则请参见表6。 csv解析 csv csv格式解析,解析规则请参见表7。 函数解析 ruby 云脑自封装ruby解析,解析规则请参见表8。 json解析 json json处理转化,解析规则请参见表9。 Split解析 split
待安装组件控制器(isap-agent)的ECS服务器与存储Agent的OBS桶之间网络不通 ECS服务器的磁盘空间不足 调用iamtoken请求,获取iamtoken失败 workspaceId校验失败 组件控制器(isap-agent)已经安装,系统仍将重复安装 原因排查及解决方法
DNS大小异常 DNS Size Abnormal 是 DNS大小异常 DNS反射 DNS Reflection 是 DNS反射 DNS返回域名流异常 DNS Reply Domain Flow Abnormal 是 DNS返回域名流异常 DNS格式错误 DNS Format Error
志采集器节点(ECS)纳管到安全云脑。 安装组件控制器 在步骤五:网络连通配置执行后的页面中,单击页面右下角“下一步”,进入“脚本安装验证”页面。 单击复制安装组件控制器的命令。 图1 复制安装命令 安装组件控制器。 远程登录(可选)步骤一:购买ECS准备的ECS。 您可以登录弹
实现租户数据上报安全云脑,安全云脑数据转储到租户的能力。 解析器:Logstash配置的基础概念,主要为Logstash的filter部分,安全云脑解析器是对其filter部分的无码化封装和定制,用户只需在页面上配置解析器规则即可生成原生的filter配置脚本,从而轻松实现将原始日志转化为目标格式。
表1 节点参数说明 参数名称 参数说明 节点名称/ID 节点的名称/ID。 健康状态 节点的健康状态。 区域 节点所在区域。 IP地址 节点的IP地址。 CPU使用率 节点的CPU使用率。 内存使用率 节点的内存使用率。 磁盘使用率 节点的磁盘使用率。 网络速率 节点的网络速率。
在左侧导航栏选择“资产管理 > 资产管理”,进入资产管理页面。 图2 资产管理 在资产管理页面中,单击页面右上角“资产订阅设置”,右侧弹出资产订阅设置页面。 在订阅资产设置页面中,在需要订阅资产所在的region所在行“是否开通”列开启订阅。 单击页面右下角的“确认”。 订阅后,资产信息将在一分钟内同步展示。
/file_name 否 用于设置读取的位置信息,防止重启导致的全文遍历 表5 kafka连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 服务地址 bootstrap_servers string -- 是 服务地址 主题 topics array
新增节点前需要先检查待安装组件控制器的ECS主机的磁盘的/opt目录下是否预留100GB以上的磁盘空间。 远程登录待安装组件控制器的ECS。 您可以登录弹性云服务器控制台,在“弹性云服务器”列表中,单击“远程登录”登录主机,详细操作请参见在云服务器控制台上登录主机。 如果您的主机已经
表1 节点参数说明 参数名称 参数说明 节点名称/ID 节点的名称/ID。 健康状态 节点的健康状态。 区域 节点所在区域。 IP地址 节点的IP地址。 CPU使用率 节点的CPU使用率。 内存使用率 节点的内存使用率。 磁盘使用率 节点的磁盘使用率。 网络速率 节点的网络速率。
到目标的HTTPS总流量Kbps。 dns_request_pps String 到目标业务DNS Query包速率pps。 dns_request_kbps String 到目标业务DNS Query总流量Kbps。 dns_reply_pps String 到目标业务DNS Reply包速率pps。
数据采集流程 新增节点 配置组件 新增连接 创建解析器 新增采集通道 采集后验证 管理连接 管理解析器 管理采集通道 查看采集节点信息 管理节点和组件 磁盘分区 Logtash组件配置项说明 连接器规则说明 解析器规则说明 升级组件控制器 父主题: 设置
登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“计算 > 弹性云服务器 ECS”,并在弹性云服务器列表中,单击当前安装isap-agent的ECS名称,进入ECS详情页面。 选择“云硬盘”页签,进入云硬盘页面后,单击“新增磁盘”。 在购买云硬盘页面,
在左侧导航栏选择“设置 > 目录定制”,进入目录定制页面。 图2 进入目录定制页面 在目录定制列表中,查看目录的详细信息。 表1 目录参数说明 参数名称 参数说明 一级目录 目录所属的一级目录名称。 二级目录 目录所属的二级目录名称。 目录状态 目录所属的类型。 目录地址 目录所在地址。 布局
选择或购买云服务器,在云服务器上安装组件控制器,完成节点纳管。 2 安装组件 节点纳管完成之后可以通过管理下发安装引擎Logstash,完成组件安装。 3 配置连接器 配置源和目的连接器,根据需要选择连接器并完成参数配置。 4 (可选)配置解析器 根据需要在页面上进行无码化解析器配置。
在创建用户组页面,设置用户组名称和描述信息。 用户组名称:请设置为“租户采集用户组”。 描述:自定义描述信息即可。 单击“确定”。 添加权限。 在左侧导航栏选择“权限管理 > 权限”,并在权限页面右上角单击“创建自定义策略”。 配置策略。 策略名称:请设置为“租户采集最小权限策略”。
基础配置完成后,单击页面右下角“下一步”,进入“解析器配置”页面。 在“解析器配置”页面中,选择解析器,选择后,系统将显示已选择解析器的相关信息。 如果无可选解析器或需新增解析器,可以单击“新建”,新建解析器。新增解析器详细操作请参见创建解析器。 解析器配置完成后,单击页面右下角“下一步”,进入“运行节点选择”页面。