检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL查询样例 本章以ELB日志为例进行介绍,对LTS中的ELB原始日志进行查询,具体查询步骤如下。 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,单击目标日志组和日志流名称,进入日志详情页面。 系统获取ELB原始日志,在日志搜索页面查看具体日志。 单击右上角,在弹出页面中
解决方案: 如果program字段值是access,则通过e_psv函数解析content内容,并删除原始字段content。
日志流ID:单击“日志组名称”可查看日志流列表,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 使用SDK接入LTS
对结构化解析进行字段名称修改、字段删除、字段类型修改等操作,都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。
函数列表 类型 函数 说明 基本方法 e_has 判断日志字段是否存在。 e_not_has 判断日志字段是否不存在。支持和其他函数组合使用。 表达式函数 e_search 提供一种简化,类似Lucene语法的事件搜索方式。支持和其他函数组合使用。
支持的key如下列表: city:城市名称。 province:省份名称。 country:国家名称。 isp:所属网络运营商名称。 lat:IP地址所在位置的纬度。 lon:IP地址所在位置的经度。
采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。 contents 是 Array of String 日志内容。 labels 是 Object 用户自定义label。
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezone
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志
函数列表 表1 数组函数 函数 描述 array函数 将输入的参数构造成数组,参数类型必须相同。 array_position函数 获取指定元素的下标,下标从1开始。如果指定元素不存在,则返回0。 cardinality函数 计算数组中元素的个数。
日志加工:想要分析的业务日志混在运行日志中,或者业务日志中有些敏感数据需要删除,或者有些数据缺少维度数据,建议使用DSL加工功能对日志进行规整、富化、流转、脱敏、过滤等操作。详细请参考DSL加工。
通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 安装SDK 您可以通过以下两种方式安装云日志服务log4j2 SDK 方式一:在Maven项目中加入依赖项(推荐方式)。
ICAgent安装完成后反复重启怎么办? 问题现象 ICAgent安装完成后反复重启。 对系统的影响 影响ICAgent指标/日志采集。 可能原因 资源占用超过ICAgent自身的限制。 ICAgent异常。 排查方法 登录ICAgent所在ECS主机。 执行cd /var/ICAgent
sql_alarm_level 是 String 告警级别 枚举值: Info Minor Major Critical sql_alarm_send 是 Boolean 是否发送 sql_alarm_send_code 是 Integer 发送主题 0:不变 1:新增 2:修改 3:删除
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 注意事项 建议设置上报周期小于1分钟(例如50秒)上报一次,设置1分钟或超过1分钟上报一次,可能会出现连接失败,因为SDK连接默认1分钟超时。
状态码 状态码如表1所示 表1 状态码 状态码 返回值 状态码说明 200 OK GET和PUT操作正常返回。 201 OK POST请求成功,返回查询结果。 204 No Content DELETE操作正常返回。 400 Bad Request 请求错误。 401 Unauthorized
中间件-Zookeeper日志 ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,是将复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的系统,并以一系列简单易用的原子操作提供给用户使用。ZooKeeper的主要功能包括配置维护、域名服务、分布式同步、组服务等
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合
日志可视化概述 云日志服务支持用户使用SQL查询语法对结构化日志进行统计分析,同时将分析结果以图表方式可视化展示,提供多种图表类型,满足不同场景的可视化呈现需求,用于运维和运营分析。 LTS提供40多种开箱即用仪表盘模板、预置样例数据,配置丰富,简单易用,降低使用门槛,减少用户重复开发