检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方式将日志流中的日志进行结构化
前提条件 已采集CCE日志，详情请参见云容器引擎CCE应用日志接入LTS。 日志配置结构化，详情请参见设置云端结构化解析日志。 查看CCE日志节点操作 登录云日志服务控制台，在左侧导航栏中选择“仪表盘 ”。
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下： 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果内容较多
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理，例如将日志的时间戳转换成指定格式等，本文介绍时间字段的常用转换示例。 本示例属于白名单功能，支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用，
LTS漏斗图 漏斗图适用于业务流程比较规范、周期长、环节多的单流程单向分析，通过漏斗各环节业务数据的比较能够直观地发现和说明问题所在的环节，进而做出决策。漏斗图用梯形面积表示某个环节业务量与上一个环节之间的差异。 查看漏斗图 登录云日志服务控制台。 在左侧导航栏中，选择“日志管理”
LTS折线图 折线图属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，用于直观分析数据变化趋势。在折线图中，可以清晰的观测到数据在某一个周期内的变化，主要反映在： 递增性或递减性 增减的速率情况 增减的规律（如周期变化） 峰值和谷值 所以，
正则表达式函数 本文介绍正则表达式函数的语法规则，包括参数解释、函数示例等。 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。 regex_findall 根据正则表达式获得符合条件的所有值列表。 匹配判断 regex_match 判断是否匹配正则表达式
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的，或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
统计图表概述 日志上报LTS后，支持通过SQL分析语法搜索关键日志数据，并将查询结果通过统计图表的方式进行可视化展示，帮助用户更容易地理解日志数据之间的变化。用户还可以将图表分析结果保存到仪表盘，进行长期监控。 约束与限制 一个日志流最多可创建100个图表。 一个仪表盘最多可添加50
LTS数字折线图 数字图和折线图组合，同时显示趋势和关键数据点。可以帮助用户更好的理解数据和趋势变化，从而更好的进行业务决策。 查看数字折线图 登录云日志服务控制台。 在左侧导航栏中，选择“日志管理”，进入日志管理页面。 在日志管理页面中，选择目标日志组和日志流，进入日志流详情页面
场景八：数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求，当原始日志中存在标准 ISO8601时间格式的字段，您可以使用e_set字段操作函数，将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数，可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时，您可以通过开启“自定义日志时间”开关，将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择
场景七：数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求，当原始日志中存在Unix时间格式字段，您可以使用e_set字段操作函数，将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1：不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时，您可以通过开启“自定义日志时间”开关，将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择
添加日志仪表盘过滤器 在云日志服务仪表盘中添加过滤器，即对整个仪表盘进行查询过滤或变量替换操作。 过滤器用于为仪表盘中的所有统计图表批量修改查询条件。每张统计图表实际为一个查询和分析语句，过滤器实质上是操作该查询和分析语句。 过滤器类型：通过日志字段的Key和Value进行过滤。在执行过滤器操作时
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字
METRIC仪表盘模板 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表，设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件，保留符合条件的日志，对用户特定时间范围内已结构化的日志进行动态统计，并将统计结果动态呈现到aom的Prometheus实例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
