检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里,每个分组只输出一条记录,包括以下几种: 分组函数 表1 分组函数表 分组窗口函数 说明 TUMBLE(time_attr, interval) 定义一个滚动窗口。滚动窗口把行分配到有固定持续时间(
工作空间 工作空间 工作空间(Workspace)属于安全云脑顶层工作台,单个工作空间可绑定普通项目、企业项目和Region,可支撑不同场景下的工作空间运营模式。 数据空间 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一负载均衡策略。 数据管道 数据传输消息主题和存储索引组合为数据管道。
磁盘分区 目前,租户采集主要用于数据中转业务,为保证采集器的正常运行,有如下约束与限制条件: 组件控制器(isap-agent)安装仅支持非管理员账户的IAM账户。 安装组件控制器(isap-agent)并使用采集器用于数据转入转出业务时,请保证“/opt/cloud”空间下有至少100G磁盘空间。
去重 功能描述 对在列的集合内重复的行进行删除,只保留第一行或最后一行数据。 语法格式 SELECT [column_list] FROM ( SELECT [column_list], ROW_NUMBER() OVER ([PARTITION BY col1[
创建解析器 操作场景 安全云脑默认内置快速接入解析器,可根据需要进行选择: 表1 解析器场景说明 类型 场景 快速接入 无需对源数据进行处理直接传输。 模板 需要对数据源进行清理、字段加工处理等操作的时候,可以根据用户需要的使用场景进行模板选择,创建对应的解析器。 自定义 需要对
聚合操作 Union/Union ALL/Intersect/Except 语法格式 1 query UNION [ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。
(可选)步骤八:创建日志存储管道 本章节将介绍如何在安全云脑中创建日志存储位置(管道),用于日志存储、分析。 将非华为云日志转入安全云脑场景时,需要执行此步骤。将华为云日志转出至第三方系统或者产品场景,请跳过此步骤。 创建日志存储管道 登录管理控制台。 在页面左上角单击,选择“安全与合规
管理采集节点 操作场景 本章节将介绍如何进行组件管理: 节点管理:支持查看节点详细管理信息、注销节点。 组件管理:支持查看组件详情。 查看节点详细信息 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“安全与合规 > 安全云脑 SecMaster”,进入安全云脑管理页面。
国家编码ISO [src_/dest_]geo.contc String 大洲编码ISO [src_/dest_]geo.idc String 数据中心,机房 [src_/dest_]geo.bs String 移动基站 [src_/dest_]geo.cc3 String 国家代码3位
安全云脑中的日志存储时间是多久? 安全云脑支持接入WAF、HSS、OBS等云产品的日志数据,接入后可以对数据进行查询分析、智能建模等。 对于已接入安全云脑的日志数据的具体存储时长如下所示: 表1 支持接入的日志 云服务 日志描述 日志 日志生命周期范围 Web应用防火墙(Web Application
管理管道 数据传输消息主题和存储索引组合为数据管道。本章节介绍管理数据管道的相关操作: 创建管道:如果需要使用安全云脑提供的安全分析、数据分析、智能建模功能时,需要创建管道。 查看管道详情:指导用户通过管理控制台查看管道的信息,包括名称、所属数据空间和创建时间等。 编辑管道:管道
升级组件控制器 操作场景 租户采集原组件控制器采用salt方案,考虑到业务的发展,在设计上采用了agent的方式,需要将原有agent进行升级操作,即将租户采集salt-minion升级到isap-agent。 升级不影响数据面。 升级前准备 租户采集鉴权采用IAM鉴权,因此,需
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序。 注意事项 目前仅支持根据时间属性进行排序。 示例 对订单根据订单时间进行升序排序。 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述
连接器规则说明 源连接器 安全云脑租户采集连接器,目前支持的源连接器类型如下表所示: 表1 源连接器类型 连接器名称 对应的logstash插件 描述 传输控制协议 TCP tcp 用于接收TCP协议日志,配置规则请参见表2。 用户数据协议 UDP udp 用于接收UDP协议日志,配置规则请参见表3。
查看采集节点信息 操作场景 本章节主要介绍如何查看采集节点信息。 查看采集节点信息 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“安全与合规 > 安全云脑 SecMaster”,进入安全云脑管理页面。 在左侧导航栏选择“工作空间 > 空间管理
查询与分析日志 操作场景 数据收集成功后,您可以在查询分析页面对收集到的日志数据进行实时查询分析。 本章节将介绍如何对日志数据进行查询分析,请根据您的需要选择查询分析方式: 方式一:输入查询条件进行查询分析 方式二:使用已有字段进行查询分析 方式三:创建快速查询 操作查询分析结果
管理解析器 操作场景 本章节主要介绍如何执行查看解析器管理信息、导入解析器、导出解析器、删除解析器操作。 查看解析器管理信息 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面左上角单击,选择“安全与合规 > 安全云脑 SecMaster”,进入安全云脑管理页面。
解析器规则说明 租户采集功能主要使用定制化logstash用于数据中转业务,解析器是对logstash中filter部分的无码化封装。目前,支持如下类型的logstash插件: 表1 支持的类型 解析器 对应logstash中的插件 说明 kv解析 kv 键值对解析,解析规则请参见表2。
Top-N 功能描述 Top-N 查询是根据列排序找到N个最大或最小的值。最大值集和最小值集都被视为是一种 Top-N 的查询。若在批处理或流处理的表中需要显示出满足条件的 N 个最底层记录或最顶层记录, Top-N 查询将会十分有用。 语法格式 SELECT [column_list]
Logtash组件配置项说明 租户采集Logstash采集器是安全云脑经过定制化处理的。其在不同传输场景可进行不同程度的优化配置,此处主要提供日志配置log4j2.properties、jvm.options运行内存优化配置。 jvm运行内存配置 图1 jvm.options 表1