检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务微信小程序SDK 云日志服务微信小程序SDK提供了微信小程序上报日志的一系列方法,如果您需要收集和分析用户在网站上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、终端设备记录,设备异常记录,网络使用记录等,可以直接使用微信小程序SDK上报日志到LTS。 传输协议 HTTPS
云日志服务钉钉小程序SDK 云日志服务钉钉小程序SDK提供了钉钉小程序上报日志的一系列方法,如果您需要收集和分析用户在网站上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、终端设备记录、设备异常记录、网络使用记录等,可以直接使用钉钉小程序SDK上报日志到LTS。 传输协议 HTTPS
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构
ORC和JSON格式日志是单行解析,如果单行日志超过1MB直接被丢弃。 单行全文:采集完整的单行日志全文,不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。 多行全文:采集完整的多行日志全文(如堆栈日志),不做结构化解析。如果您需要对日
00:00:00~2021-01-02 01:00:00)的网站访问量。 6000.0表示昨天同时段(例如2021-01-01 00:00:00~2021-01-01 01:00:00)的网站访问量。 0.999表示当前1小时与昨天同时段的网站访问量比值。 分列显示查询和分析结果。 SELECT
00:00:00~2021-01-02 01:00:00)的网站访问量。 6000.0表示昨天同时段(例如2021-01-01 00:00:00~2021-01-01 01:00:00)的网站访问量。 0.999表示当前1小时与昨天同时段的网站访问量比值。 分列显示查询和分析结果 SELECT
AI开发平台ModelArts接入LTS 支持AI开发平台ModelArts日志接入LTS。 具体接入方法请参见部署模型为在线服务。 父主题: 使用云服务接入LTS
或ISO8601(例如2000-01-02T03:04:05Z)将字符串解析为时间戳。timezone(如果提供)应为时区名称,如"America/Los_Angeles"或偏移量,如"+08:00",并将用作不包括时区偏移量的字符串的时区。模式和时区必须是字面量。无法解析为时间戳的字符串将返回空值。 SELECT
日志搜索与分析(管道符方式-邀测) 进入搜索LTS日志页面 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 SQL函数
json_parse 将值解析为JSON对象。 函数格式 json_parse(value, default=None, restrict=false) 参数说明 参数 类型 是否必填 说明 value String 是 传入需要被解析的字段。 default String 否 如果解析字段不存在
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
如何配置到最佳使用状态:很多云服务的日志都是支持结构化的,您可以在结构化配置页面为您的云服务日志配置对应的结构化解析规则,详细操作请参考日志结构化配置。结构化解析之后即可对日志使用SQL进行可视化分析。LTS也为很多常见的云服务日志提供了开箱即用的仪表盘,例如ELB/APIG/DCS等开箱即用仪表盘。
使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
IC结构化解析类型 demo_log 否 String 示例日志 demo_fields 否 Array of DemoFieldAccess objects 示例日志解析字段 processors 否 Array of Processor objects IC结构化解析器 application_id
ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS 自建K8s应用日志接入LTS ICAgent结构化解析规则说明 父主题: 日志接入
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
件。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String