检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2024-10-17 5.12.232 解析标准输出日志用到的json库替换为sonic,降低CPU使用率。 LTS发送日志出现超时,解决超时问题。
Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定义,因为这部分可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如 Log4j)的示例,并对其中的一些通用字段进行解析。 系统日志示例。
日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。 sep String 否 用于分隔多个值的分隔符。
模板名称 regex String 正则表达式 表5 StructFieldInfoReturn 参数 参数类型 描述 fieldName String 字段名称 type String 字段数据类型 content String 字段内容 isAnalysis Boolean 是否解析
若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮:设置JSON默认展开层级,最大设置为10层。 关闭格式化按钮:对于JSON格式的日志,将不会格式化层级显示。
LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper 内存数据状态的序列化表示,它包含了ZooKeeper数据树在某个时间点的完整副本。
对日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 日志结构化后字段名称与系统SQL内置保留字段名称相同,或者字段名称中带有中划线、下划线、小数点这三种特殊字符时,SQL查询需要加英文双引号。
日志配置结构化,详情请参见设置云端结构化解析日志。 日志生成指标任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“METRIC仪表盘模板 > 日志生成指标任务监控中心”,查看图表详情。
通过流程控制函数中的e_if函数、操作符函数中的op_and和op_or函数、IP解析函数中的ip_cidrmatch函数删除内网日志。 更多加工语法请参考DSL数据加工语法(邀测)。
日志配置结构化,详情请参见设置云端结构化解析日志。 查看VPC流日志 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“VPC日志流中心”,选择“进入仪表盘”。 在仪表盘模板下方,选择“VPC仪表盘模板 > VPC流日志”,查看图表详情。
<num>\\\\d+)\"} json方式时param为一个json字符串,包含keyObject对象和layers对象,keyObject内为键值对,键为demo_fields数组中元素的field_name,值为user_defined_name,layers为最大解析层数,
consumerGroup' = '**************', " + // LTS 日志消费起始位置 "'startTime' = '1689836602157000000', " + // LTS 原始日志是否做JSON解析
返回结果 返回解析后的日期时间对象。
日志配置结构化,详情请参见设置云端结构化解析日志。 查看CFW访问日志中心 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“CFW日志中心”,选择“进入仪表盘”。
zh-cn中文,en-us英文 枚举值: zh-cn en-us source 是 String 来源,只能填LTS 最小长度:3 最大长度:3 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 template String 为一个html文本,需要进行相应的解析后展示
若<format>未填写则以默认的ISO8601将字符串解析。 语法:time_parse(expr, format) 表38 参数说明 参数名称 描述 类型 是否必选 expr 某种时间格式的字符串。 String 是 format 时间格式。
全屏后,勾选保持在线按钮,可以保持在线状态,会话一直有效,当前账号不会退出。 退出全屏显示 将光标移至屏幕上方,单击弹出的,或者单击,或者按键盘中的“Esc”可退出全屏模式。 全屏显示单个图表 选择待操作的仪表盘,单击取消退出编辑模式。
日志配置结构化,详情请参见设置云端结构化解析日志。 查看CDN错误分析 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“CDN仪表盘模板 > CDN错误分析”,查看图表详情。