检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用
00多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 约束与限制 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点:
通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 注意事项 由于Java-SDK默认对SK明文存储,不符合某些对于安全有更高要求的用户,lts提供了一种用户自定义的加解密方式,建议用户优先使用加解密方式。 加密过程如下: 用户编写一个java类,比如com
accessKeyId:华为云账号的AK, 认证用的AK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放, 使用时解密, 确保安全--> <!-- accessKeySecret:华为云账号的SK, 认证用的SK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放
认证用的AK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放, 使用时解密, 确保安全 --> <accessKeyId>xxxxxxxxxxxxxxxxxxxxxx</accessKeyId> <!-- 华为云账号的SK, 认证用的SK硬编码到代码中或者明文存储都有很大的安全风险
工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 创建DSL加工任务
在LTS页面分析Log4j格式的应用运行日志 背景信息 Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 如统计今天某商品的交易量,示例日志如下:
据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么到第11天时,第1天的日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。
设置多账号日志汇聚后如何只保存一份日志内容? 参考设置多账号日志汇聚成功后,即源日志组/日志流的日志内容汇聚到目标日志组/日志流,LTS同时保存用户两个账号下的日志内容。用户创建源日志组/日志流和目标日志组/日志流时会设置日志存储时间,LTS按照日志存储时间保存日志内容。如何设置保存一份日志内容,请参考如下操作。
在添加过滤器时,可以添加过滤条件,各个过滤条件之间使用AND连接。 前提条件 已成功采集到日志。 已添加图表到仪表盘。 日志流已配置结构化规则,具体操作请参考结构化配置。 限制条件 一个仪表盘最多可添加10个过滤器。 添加过滤器 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”,选择待操作的仪表盘。
剪切的日志内容复制到示例日志框中。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置一个名称,名称必须以字
剪切的日志内容复制到示例日志框中。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置一个名称,名称必须以字
两者必须得有一个是开启状态。 开启采集容器标准错误(stderr)后,选择采集目标路径:将标准输出和标准错误采集到不同的文件(stdout.log和stderr.log)、将标准输出和标准错误采集到同一个文件(stdout.log)。 被匹配上的容器的标准输出会采集到指定的日志流
选择主机组信息后,采集配置的具体配置如下: 请注意您的敏感信息是否在收集范围内。 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。 配置日志接入时可以同时选择多个主机组,同一个主机组又可以添加多个主机。所以不同主机的路径可以通过主机组来控制采集配置接入。 配置
业痛点: 分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务配置监控告警,快速分析发现故障并定位根因。 安全部门统一监控日志:客户使用多账号管理体系,每个业务部门有一个独立的账号,安全部门需要汇聚所有日志到一个账号,并存储180天以上来满足法规要求。 基于云日志服务LTS可以实现:
对象存储服务OBS接入LTS(邀测) 支持将对象存储服务桶内的文件一次性或定期导入到云日志服务,OBS服务接入LTS成功后,即可对日志进行搜索分析、日志加工等操作。加密桶的文件不支持导入LTS,若需要导入加密桶的文件,请先删除桶的加密配置,详细请参考删除桶的加密配置。 该功能仅支
请注意您的敏感信息是否在收集范围内。 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 LTS暂不支持采集PostgreSQL(数据库)实例的日志。 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支
云日志服务提供定时SQL功能,用于定时分析日志内容。定时SQL支持标准的SQL语法,按照调度规则周期性执行日志分析,并将分析结果存储到目标日志流。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考结构化配置。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点
将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,用于应对不同国家和地区的安全合规审计要求。 集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,方便后续进行统一的大数据处理和可视化展示。 方案介绍