检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用定时SQL进行日志加工 云日志服务提供定时SQL功能,用于定时分析日志内容。定时SQL支持标准的SQL语法,按照调度规则周期性执行日志分析,并将分析结果存储到目标日志流。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考结构化配置。
前提条件 使用云日志SDK前,您需要注册用户账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionid。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详情请参见“我的凭证 >API凭证”。
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source"
云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 父主题: 计费FAQ
完成后,重启Grafana服务。 进入任务管理器选择服务页签,选中Grafana右击鼠标单击重新启动,可重启Grafana服务。 修改Grafana配置文件。 打开配置文件。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。 父主题: 日志转储
创建DSL加工任务,需要您授权LTS创建一个云服务委托。因此当前用户需要具备委托相关的权限。当前用户需要授予IAM服务的以下权限,详细请参考创建自定义策略。
主机接入LTS后无法采集到日志? 如果主机接入LTS后无法采集到日志,请按如下方法进行排查: 刚完成接入配置则需要等待1~5分钟,日志才会开始上报。 排查相同主机的同一个日志采集路径,是否已在AOM进行了配置。在AOM配置后则不能在LTS重复配置。 参考ECS接入排查是否存在不规范的配置导致日志采集失败
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility
ZooKeeper的主要功能包括配置维护、域名服务、分布式同步、组服务等。它提供了一个分布式独享锁、选举、队列的接口,主要用来解决分布式系统中一致性、可用性和并发控制等问题。
操作步骤 在云日志服务控制台的“配置中心”页面,检查是否开启“ICAgent采集开关”。若“ICAgent采集开关”关闭后,ICAgent会停止采集日志,因此需要开启“ICAgent采集开关”。
配置分词 登录云日志服务控制台。 在左侧导航栏中选择“配置中心”,选择“分词配置”页签。 配置分词。 LTS提供了如下两种配置分词的方法。若同时使用了这两种配置方法,则分词符取并集。 自定义分词符:单击“编辑”,在文本框中自定义输入需要的分词符。
当您需要了解这些信息时,可以通过快速分析功能,查询指定日志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。 支持对前100000条日志进行分析。
创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”,进入委托页面。 单击右上角“创建委托”,具体操作请参考委托其他云服务管理资源,创建委托时参数设置要求参考如下。 委托类型:选择“云服务”。 云服务:选择“弹性云服务器 ECS 裸金属服务器 BMS”。
数据过滤:过滤出关键服务的日志,用于重点分析。 父主题: DSL加工(邀测)
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题: 日志搜索与分析(管道符方式-邀测)
字典函数 本文介绍字典函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 dct_make 构建字典。 dct_update 更新字典。 dct_delete 删除字典值。 dct_keys 获取字典关键字列表。 dct_values 获取字典值列表。 dct_get
转换函数 本文主要介绍操作符函数的语法规则,包括参数说明、函数示例等。 函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串
分词符 云日志服务LTS会根据分词符,将日志内容拆分成多个词。日志服务默认配置的分词符为, '";=()[]{}@&<>/:\\?\n\t\r。 例如:日志2023-01-01 09:30:00,默认分词符会将其分为四部分:2023-01-01、09、30、00。