检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费开始时间,纳秒值 Long 必填 - stopTime 消费结束时间,纳秒值 Long 选填 - jsonParse 是否对原始日志做json解析 Boolean 选填 false 类型映射 表3 类型映射 Flink字段类型 LTS字段类型 VARCHAR STRING 代码示例
标日志组和日志流名称,进入日志详情页面。 系统获取ELB原始日志,在日志搜索页面查看具体日志。 单击右上角,在弹出页面中,选择“云端结构化解析”。 选择结构化模板,根据ELB模板进行结构化配置。其他日志内容可选择其他结构化模板。 在“可视化”页签下输入SQL查询语句对相应的字段进行查询,即可返回所需的日志内容。
详细加工语法请参考DSL数据加工语法(邀测)。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 创建DSL加工任务 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息
例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映射关键字是查询字符串,支持正则表达式匹配、完全匹配、模糊匹配等形式。搜索映射函数包
如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。 sep String
Boolean 是否解析 index Integer 字段序号 表6 tag_fields_info 参数 参数类型 描述 fieldName String 字段名称 type String 字段类型 content String 内容 isAnalysis Boolean 是否解析 index
日志字段值(Value)的数据类型,可选值为string、long、float、json。 说明: 字段json类型只对ICAgent结构化解析生效,对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打
本示例默认关闭,采集所有文件。 关闭 采集Windows事件日志 本示例是Linux主机,默认关闭。 关闭 结构化解析配置 开启结构化解析配置,日志结构化解析规则选择单行-全文日志。更多规则请参考ICAgent采集配置。 开启 最大目录深度 最大目录深度为20层。 采集路径支
日志字段值(Value)的数据类型,可选值为string、long、float、json。 说明: 字段json类型只对ICAgent结构化解析生效,对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打
协议的每分钟包数、弹性网卡。 前提条件 已采集VPC日志,详情请参见虚拟私有云VPC接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看VPC流日志 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“VPC日志流中心”,选择“进入仪表盘”。
主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如 Log4j)的示例,并对其中的一些通用字段进行解析。 系统日志示例。 2023-10-23 15:33:45,123 INFO [KafkaServer id=0] onBrokerStartup
由于事务日志是二进制文件,不能直接通过文本编辑器查看其内容。可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper 内存数据状态的序列化表示,它包含了ZooKeeper数据树在某个时间点的完整副本。
配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
addr和dstaddr字段不符合IP地址格式的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_and和op_or函数、IP解析函数中的ip_cidrmatch函数删除内网日志。 更多加工语法请参考DSL数据加工语法(邀测)。 在“测试数据”页签输入测试数据,参考如
达、华北-乌兰察布二零二,其他局点暂不支持该功能。 前提条件 已成功采集到日志。 对日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 日志结构化后字段名称与系统SQL内置保留字段名称相同,或者字段名称中带有中划线、下划线、小数点这三种特殊字符时,SQL查询需要加英
eus实例,操作简单且功能强大。 前提条件 已创建日志生成指标,详情请参见日志生成指标(邀测)。 日志配置结构化,详情请参见设置云端结构化解析日志。 日志生成指标任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“METRIC仪表盘模板 >
中心和查看CFW攻击日志中心。 前提条件 已采集CFW日志,详情请参见云防火墙CFW接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CFW访问日志中心 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“CFW日志中心”,选择“进入仪表盘”。
手动刷新 选择待操作的仪表盘,单击可手动刷新当前页面。 全屏显示 选择待操作的仪表盘,单击,可全屏显示仪表盘。全屏后,勾选保持在线按钮,可以保持在线状态,会话一直有效,当前账号不会退出。 退出全屏显示 将光标移至屏幕上方,单击弹出的,或者单击,或者按键盘中的“Esc”可退出全屏模式。
SDK概述 本文介绍了LTS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可