检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。
API的日志接入接口,用来配置日志上报。 日志转储 LTS API的日志转储接口,用于将指定的一个或多个日志流的日志转储到其他服务。 超额采集 LTS API的超额采集接口,用来设置打开、关闭超额采集开关。 云端结构化配置 LTS API的结构化配置接口,用来创建、查询、修改、删除结构化配置等。 AOM容器日志接入LTS
table_name”,table_name为有分区表的表名称,数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配置”,设置定时操作时间,详细操作请参考调度作业。 设置完成后,先单击提交版本,然后单击,作业执行调度触发成功。
选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用数字折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字折线图 表1 数字折线图参数说明 类别 参数 说明 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据,可以选择多个数据。
TS采集日志时,需要安装ICAgent。 支持区域: 全部 安装ICAgent(Linux环境) 安装ICAgent(Windows环境) 主机组 主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。LTS支持通过一个接入配置来采集多台主机上的日志
除了这些基本字段外,IIS日志还可以包含其他自定义字段,具体取决于IIS的配置和安装的扩展。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。
选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用数字图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字图 表1 数字图参数说明 类别 参数 说明 查询分析设置 数值列 支持数字或字符串数据。 同比数据 选择待对比的字段,在图表中显示该字段对应的值。
日志转储限制 本文介绍云日志服务转储的限制。 表1 日志转储限制 类别 限制项 说明 备注 转储OBS 单个日志流转储任务数量 1 个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。
若实时日志未超过1MB,但总数超过2000条时,LTS会清空前1000条日志,保留最新的1000条日志。 前提条件 已创建日志组和日志流。 已完成安装ICAgent(区域内主机)。 已配置日志采集规则。 查看LTS实时日志 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果离开实时查看页面
支持秒级日志查询和分钟级日志监控,通过配置告警规则和告警通知,实现分钟级问题定位和分析。 支持将日志转储至OBS实现长期保存,满足网络安全要求。 LTS提供解决方案参考如下图1,可以实现统一收集生产环境应用日志,开发人员检索分析日志,运维人员基于日志配置告警,实时感知现网业务,及时发现并解决故障问题。
选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用漏斗图展示查询数据。在通用配置下方,参考表1配置参数。 图1 漏斗图 表1 漏斗图参数说明 参数 说明 系列名称 漏斗图的名称。 数值列 选择数值字段,某个字段对应的数值越大,在越上面。
则,监控日志中的关键词,通过在一定时间段内,统计日志中关键字出现的次数,实时监控服务运行状态。 SQL告警:支持将日志数据进行结构化,通过配置SQL告警规则,定时查询结构化数据,当且仅当条件表达式返回为true的时候,将告警进行上报,用户可以在LTS控制台查看SQL告警。 关键词告警
的修改操作。 用于回滚事务或实现多版本并发控制(MVCC)。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Mysql日志示例以及字段含义
除该字段,保留不满足条件的字段。关于正则表达式的更多信息,请参见正则表达式。至少需要配置一个日志字段。 regex Boolean 否 如果设置为false,表示不使用正则表达式进行匹配。当不配置该参数时,系统默认取值为true。 返回结果 返回删除后的日志。 函数示例 如果co
选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用地图展示查询数据。在通用配置下方,参考表1配置参数。 图1 地图 表1 地图参数说明表 参数 说明 地图类型 区域定位:设置地图显示的区域范围,包含中国省级地图和世界地图两种。
问题:标准存储的日志转换成冷存储的生效周期有多久? 答:1个小时内。 问题:日志存储一段时间后,修改日志流的配置,设置日志冷存储,存量日志会自动转存到冷存储中吗?比如用户日志存储时间设置为30天,当前日志已经存储了10天,现在修改日志流配置,开启智能冷存储,标准存储层数据保存时间设置为7天,那超过7天的历史日志会存放到冷存储中吗?
条件进行判断,满足条件的进行对应操作。不满足条件的不进行对应操作,直接进行下一个条件判断。如果没有满足任一条件并且配置了default参数,则执行default配置的操作并返回。 e_switch(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ...., default=None)
若修改时传入此字段,将覆盖原有配置 首次配置元数据时,此字段必填,值为["pathFile"] (其中pathFile为默认的必传字段,其余字段可选) custom_key_value 否 Map<String,String> 自定义键值对:配置日志接入规则时,可以配置自定义键值对规则,上
其他函数组合使用。 输出事件 e_output、e_coutput 输出日志到指定的日志流代称中(日志流代称在创建加工任务时配置目标日志流时指定),并可配置输出时的tag信息。 e_output:执行到e_output函数时,输出日志到指定的日志流中,且对应的日志不再执行后面的加工规则。
分析,并为DMS-Rebalance日志配置结构化和仪表盘。该仪表盘主要展示DMS重平衡日志的重平衡消费组个数、重平衡次数、消费组重平衡次数、重平衡原因及组详情。 前提条件 已采集DMS日志,详情请参见云防火墙CFW接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。