检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需求2:对request进行再提取,提取出uri_proto、uri_domain、uri_param信息。 需求3:对解析出来的uri_param进行再提取,提取出uri_path、uri_query信息。
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。
应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。
表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。
e_split 基于日志字段的值分裂出多条日志,并且支持通过JMES提取字段后再进行分裂。
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。
下载的LTS-Grafana插件压缩包解压到当前位置,这样成功提取文件(文件名为lts-grafana-plugin)。
下载的LTS-Grafana插件压缩包解压到当前位置,这样成功提取文件(文件名为lts-grafana-plugin)。
提取模式 根据日志类型选择提取模式,提取OBS日志超过1MB的部分会被截断丢弃。 单行日志单行超过1MB的部分被截断丢弃。 多行日志多行块超过1MB的部分被截断丢弃。 ORC和JSON格式日志是单行解析,如果单行日志超过1MB直接被丢弃。
支持区域: 全部 云主机ECS文本日志接入LTS 云端结构化配置 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。
在日志管理页面,单击日志流名称进入日志流详情页面,单击右上角的按钮,进入设置页面,在“云端结构化解析”页签,“自动配置索引和快速分析”默认开启,选择“结构化模板”提取方式,勾选ELB系统模板,单击“保存”,关于快速分析的更多详情请参见快速分析。
从其他表达式构建 从日志事件的字段中动态提取映射关系,特定场景下适用。 较为高级,不易于维护。
结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。 海量日志存储搜索 对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询。
全屏后,勾选保持在线按钮,可以保持在线状态,会话一直有效,当前账号不会退出。 退出全屏显示 将光标移至屏幕上方,单击弹出的,或者单击,或者按键盘中的“Esc”可退出全屏模式。 全屏显示单个图表 选择待操作的仪表盘,单击取消退出编辑模式。
前提条件 快速分析的对象为结构化日志中提取的关键字段,创建快速分析前请先对原始日志进行结构化配置。 创建快速分析 可通过日志结构化打开“快速分析”按钮进行创建。也可通过如下步骤进行创建。 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。
前提条件 快速分析的对象为结构化日志中提取的关键字段,创建快速分析前请先对原始日志进行设置云端结构化解析日志。 创建快速分析 快速分析以日志流为单位,请参考如下步骤创建快速分析。 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。
SELECT MILLIS_TO_TIMESTAMP(expr) TIMESTAMP_TO_MILLIS(expr) 将时间转换为时间戳格式 SELECT TIMESTAMP_TO_MILLIS (expr) EXTRACT(<extract_unit>FROM expr) 从expr中提取时间部分
返回结果 返回提取的属性。 函数示例 示例1:提取time字段的值的day属性值。