检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,例如选择云端结构化解析后,不能再选择ICA
面,单击右上角的按钮,进入设置页面,在“云端结构化解析”页签,“自动配置索引和快速分析”默认开启,选择“结构化模板”提取方式,勾选ELB系统模板,单击“保存”,关于快速分析的更多详情请参见快速分析。 图1 配置结构化模板 在日志流详情页面,单击“日志分析”页签,进行SQL查询与分
Firewall,CFW)是新一代的云原生防火墙,提供云上互联网边界和VPC边界的防护,包括实时入侵检测与防御、全局统一访问控制、全流量分析可视化、日志审计与溯源分析等,同时支持按需弹性扩容、AI提升智能防御能力、灵活扩展满足云上业务的变化和扩张需求,极简应用让用户快速灵活应对威胁。云防火墙可以
获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields 删除符合条件的日志字段。支持和其他函数组合使用。 e_keep_fields 保留符合条件的日志字段。
选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用漏斗图展示查询数据。在通用配置下方,参考表1配置参数。 图1 漏斗图 表1 漏斗图参数说明 参数 说明 系列名称 漏斗图的名称。 数值列 选择数值字段,某个字段对应的数值越大,在越上面。
e,consumer worker消费的shard也会随之改变。 本地调试配置启动参数。 以下是一个简单的消费示例,我们使用java.util.Properties作为配置工具,所有Consumer的配置都可以在ConfigConstants中找到。 Properties configProps
条件与操作的组合。 满足条件则进行对应操作并返回结果,不满足条件则不进行对应操作,直接进行下一个条件判断。 如果没有满足任何条件,但配置了默认参数,则执行默认配置的操作并返回结果。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 e_switch( e_has("a")
直观地理解数据的趋势和关键指标。 查看数字图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。
种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 云日志服务支持日志采集向导一站式采集DCS日志,DCS审计日志中心仪表盘支持展示访问用户数、访问客户端数、审计日志条数等图表。 前提条件 日志配置结构化,详情请参见设置云端结构化解析日志。
云日志服务 LTS 如何配置主机日志接入 03:36 日志接入 云日志服务 LTS 如何创建并配置主机组 02:33 主机组 云日志服务 LTS 日志搜索 03:08 日志搜索 云日志服务 LTS 结构化配置 06:20 结构化配置 云日志服务 LTS 如何配置日志转储 04:52 日志转储
LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通过在一定时间段内,统计日志中关键字出现的次数,实时监控服务运行状态。 SQL告警:支持将日志数据进行结构化,通过配置SQL告警规则,定时查询结构化
请设置符合正则表达式的参数后重试。 LTS.0007 Invalid configuration parameters. 无效的配置参数。 请设置正确的配置项参数后重试。 LTS.0009 Unsupported region. 上报日志不支持该地区。 请使用下列有效区域:cn-north-4。
请您购买DWS服务,配置日志转储DWS,使用数据仓库分析。 开启模式 默认不开启。 不涉及。 数据生效机制 日志结构化只对新增结构化配置之后写入的数据生效。 不涉及。 返回结果 默认最多返回100条数据。 如果需要返回更多数据,可以使用SQL查询语法单独配置返回查询结果。 不涉及。
topic_urn 是 String Topic的唯一的资源标识。 display_name 否 String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 push_policy 否 Integer 消息推送的策略。 响应参数 状态码: 200 表8 响应Body参数 参数
云日志服务支持日志采集向导一站式采集ER日志,支持多维度分析,并为ER日志配置结构化和仪表盘。该仪表盘主要展示ER日志的TOP20包数统计、TOP20流量统计、流日志条数等信息。 前提条件 已采集ER流量日志,详情请参见企业路由器ER接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 ER流量日志中心
topic_urn 是 String Topic的唯一的资源标识。 display_name 否 String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 push_policy 否 Integer 消息推送的策略。 响应参数 状态码: 200 表8 响应Body参数 参数
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
用户在查询分析日志时,查询分析结果内容过多会影响显示速度和查询体验。云日志服务LTS支持分页显示查询分析结果,可控制每次返回的日志数量。本文介绍查询结果和分析结果的分页方法。 分页方式 云日志服务的日志搜索和统计图表功能支持在查询分析语句中同时实现关键字查询和针对查询结果进行SQL分析。 日志搜索
lts-flink-connector source和sink日志不能为同一个日志流。 flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者
e_keep() 支持和其他函数组合使用。 事件分裂 e_split 基于日志字段的值分裂出多条日志,并且支持通过JMES提取字段后再进行分裂。支持和其他函数组合使用。 输出事件 e_output、e_coutput 输出日志到指定的日志流代称中(日志流代称在创建加工任务时配置目标日志流时指定),并可配置输出时的tag信息。