检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集Syslog汇聚服务器日志到LTS 背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决
使用自定义Python脚本和LTS采集器ICAgent,协助用户将日志从Elasticsearch(简称ES)迁移到LTS中。 当前华为云支持ECS机器通过安装ICAgent来采集日志文件,因此可以基于该功能实现Elasticsearch日志导入云日志服务。 Elasticse
HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请您根据所在区域,选择RegionName。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 > API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 日志
日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制:系统时间的前后24小时内。 时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。
请确保公共用户账号及其创建的AK/SK不会被删除或禁用。AK/SK被删除,会导致安装的ICAgent无法正常上报数据到LTS。 新增访问密钥 登录华为云,在右上角单击“控制台”。 图1 进入控制台 在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 图2 选择我的凭证
日志生成指标(邀测) 支持创建日志指标规则,将上报到LTS的日志数据提取为指标来统一管理,便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组
区域内主机就是主机所在区域和用户登录云日志服务控制台所在的区域相同,例如华北-北京四。 区域外主机就是主机所在区域和用户登录云日志服务控制台所在区域不同,例如华为云其他区域、第三方都属于区域外主机。 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。
字符串函数 本文介绍字符串函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 字符串函数 函数 描述 lpad函数 在字符串的开头填充指定字符,直到指定长度后返回结果字符串。如果未指定填充字符,则使用“ ”进行填充。 rpad函数 在字符串的结尾填充指定字符,直到指定长度
步骤四:查看实时日志 前提条件 注册账号并实名认证。使用LTS前,需要先注册一个华为账号并进行实名认证。如果您已有一个华为账号,可直接跳过如下操作。 进入华为云官网,单击页面右上角的“注册”。 参考注册华为账号并开通华为云中操作,完成注册。 注册后参考实名认证完成个人或企业账号实名认证。 为账户充值
来采集日志并上报,不必再安装采集ICAgent。 前提条件 使用云日志SDK前,您需要注册用户账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionid。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详情请参见“我的凭证
Bucket中获取文件内容,并支持定期刷新。支持和其他函数组合使用。 建议日志服务Project和OBS Bucket处于同一地域,使用华为云内网获取数据。 函数格式 res_obs_file(endpoint,bucket,file) 参数说明 参数名称 数据类型 是否必填 说明
L/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将
于日志配置告警,实时感知现网业务,及时发现并解决故障问题。 图1 应用运维解决方案 应用场景2:安全合规 大型企业的每个业务部门都有独立的云账户实现资源隔离,每个业务部门的运维人员需要依赖日志监控告警实现故障定位分析,同时集团安全部门需要统一监控日志,因此多账号的统一日志管理成为企业痛点:
进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value)
单。 前提条件 日志已接入LTS,详细请参考日志接入。 已开通DIS,详细请参考开通DIS通道。 DIS存储独立收费,收费详情请参见:华为云定价。 建议您优先使用转储至DMS。 目前此功能仅支持华北-乌兰察布二零一、华北-乌兰察布二零二、华东-上海一、华北-北京四、华北-北京一、
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型
字段值提取函数 本文介绍字段值提取函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作,包括J
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型
规则原始名称:${event_name} 告警级别:${event_severity} 发生时间:${starts_at} 发生区域:${region_name} 华为云账号:${domain_name} 告警源:$event.metadata.resource_provider 资源类型:$event.metadata