检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 企业项目需要开通后才能使用,请参考如何开通企业项目。 支持将该企业项目资源迁出,详细请参考迁出企业项目资源。 添加到仪表盘分组 将新建的仪表盘进行分组管理。 不开启“添加到仪表
res_obs_file(endpoint,bucket,file) 参数说明 参数名称 数据类型 是否必填 说明 endpoint String 是 OBS中保存的文件地址。如obs.cn-north-4.huawei.com bucket String 是 OBS中使用的桶名,如lts-dsl。 file String
日志管理 LTS日志使用冷存储保存后遇到问题怎么办? 设置多账号日志汇聚后如何只保存一份日志内容?
SDK接入 使用LTS SDK相关问题 使用端侧SDK日志上报,如何配置权限认证?
专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。 父主题: 使用DSL加工函数处理日期时间
在系统首页左上角单击,选择“管理与监管 > 云日志服务 LTS”。 在日志管理页面,单击日志流名称进入日志流详情页面,单击右上角的按钮,进入设置页面,在“云端结构化解析”页签,“自动配置索引和快速分析”默认开启,选择“结构化模板”提取方式,勾选ELB系统模板,单击“保存”,关于快速分析的更多详情请参见快速分析。
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办?
件。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 结构化完成后,使用云日志服务(LTS)提供的搜索语法用于设置搜索条件,帮助您更有效地搜索日志。详细请参考搜索日志。
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Flink日志示例以及字段含义 系统日志示例: 2023-10-23 14:35:00
集到LTS,并配置好结构化解析规则和索引配置 ,否则此处预览结果展示为空。 配置日志的统计方式。 日志过滤的规则,设置完成后,支持预览效果。如果您无法在日志过滤和日志统计处选择到想要的日志字段,请您先在采集配置中配置好,详细操作请参考设置云端结构化解析日志。 支持“或”“且”两种方式交互式过滤日志。
影响ICAgent指标/日志采集。 可能原因 资源占用超过ICAgent自身的限制。 ICAgent异常。 排查方法 登录ICAgent所在ECS主机。 执行cd /var/ICAgent进入ICAgent日志目录。 查询当前日志文件,检查资源占用是否异常。 cat oss.icAgent
创建主机组 修改主机组 云主机ECS文本日志接入LTS LTS可以将主机待采集日志的路径配置到日志流中,ICAgent将按照日志采集规则采集日志,并将多条日志进行打包,以日志流为单位发往LTS,您可以在LTS控制台实时查看日志。 支持区域: 全部 云主机ECS文本日志接入LTS 云端结构化配置
CCE日志审计中心。 前提条件 已采集CCE日志,详情请参见云容器引擎CCE应用日志接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CCE日志节点操作 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“CCE仪表盘模板 > CCE日志节点操作”,查看图表详情。
最近访问 FAQ FAQ(常见问题)展示经常被询问的问题。如需查看更多FAQ,您可以单击更多。 视频介绍 通过视频介绍云日志服务的功能、ECS文本日志接入LTS、CCE应用日志接入LTS、安装ICAgent。 父主题: 日志管理