检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志搜索与分析 将LTS日志查询页面嵌入用户自建系统 本实践主要介绍通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将LTS登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 日志搜索与分析 分页显示查询分析结果 本实践介绍查询结果和分析结果的分页方法。
云日志服务LTS提供一套搜索语法用于设置搜索条件,帮助您更有效地搜索日志。 查询语句用来指定日志查询时的过滤规则,返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数据库的标准计算机语言。管道符提供了使用SQL语
附录 状态码 错误码 获取账号ID、项目ID、日志组ID、日志流ID OBS转储时区表
日志数据默认存储30天,可以在1~365天之间设置。 打开日志流的“日志存储时间”:日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”:日志的存储时间使用日志组设置的日志存储时间。 智能冷存储 开启日志存储时间后,根据业务需要设置智能冷存储功能。详细请参考智能冷存储。
Object 用户自定义label。 说明: 请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 tenant_project_id 否 String 租户项目ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 表4 LogContents
日志接入 日志接入概述 使用ICAgent插件采集日志 使用云服务接入LTS 使用API接入LTS 使用SDK接入LTS 跨IAM账号接入LTS 使用KAFKA协议上报日志到LTS 使用Flume采集器上报日志到LTS 使用匿名写入采集日志 自建中间件(邀测)
快速查询 查询用户历史sql 添加快速查询 获取快速查询 删除快速查询 查询日志组下所有快速查询 父主题: API说明
日志搜索与分析(默认推荐) 日志搜索与分析概述 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 分析LTS日志 SQL分析语法介绍
日志搜索与分析(管道符方式-邀测) 进入搜索LTS日志页面 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 SQL函数
进行详细分析。 CDN仪表盘模板支持查看CDN错误分析、查看CDN基础数据、查看CDN用户分析和查看CDN热门资源。 前提条件 已采集CDN日志,详情请参见内容分发网络CDN接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CDN错误分析 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。
31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。
即通过设置黑名单,在采集时过滤指定的目录或文件。 目录和文件名支持完全匹配,也支持模糊匹配,具体可参考路径配置内容进行设置。 当设置的黑名单与配置的采集路径重复或者有重合时,优先过滤掉黑名单设置的文件。 已经加了黑名单的日志,新建日志接入也无法采集黑名单里的日志,除非在设置采集黑名单下方删除采集路径,才能重新采集。
开启“允许文件多次采集”后,同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本,详见查看ICAgent版本说明。 关闭“允许文件多次采集”后,采集路径不能重复配置,即同一主机下的同一日志文件,即使跨日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行
本功能。例如查询API版本号、创建、查询、删除日志组和日志流。 云日志服务提供的具体API如表1所示。 表1 接口说明 子类型 说明 主机组管理 LTS API的主机组管理接口,用来创建、查询、删除主机组。 日志组管理 LTS API的日志组管理接口,用来创建、查询、删除日志组。
执行如下命令,将ES索引数据写入磁盘。 python xxx.py 查看数据是否成功查询及写入磁盘。 参考示例demo写入磁盘路径为:/tmp/test.log,操作时需要填写实际使用的路径,执行如下命令可以查看数据写入磁盘情况。 tail -f /tmp/test.log 登录
文本百分比 图例 查看饼图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,
开启“允许文件多次采集”后,同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本,详见查看ICAgent版本说明。 关闭“允许文件多次采集”后,采集路径不能重复配置,即同一主机下的同一日志文件,即使跨日志流,也只能配置一次。 设置采集黑名单:LTS支持对日志进行
基于云日志服务LTS可以实现: 多账号独立管理:每个账号独立采集各自业务的应用日志、云服务日志,资源互相隔离、权限划分清晰;借助日志告警配置,90%问题定位控制在10分钟。 日志数据跨账号集中汇聚:使用LTS的多账号日志汇聚功能,将各个子账号的日志复制一份到统一监控账号,长期存储180天,便
源的账单。 查询时需要在企业项目ID加上“.lts.logstorage”,例如6fe5cacc-e5c7-45c4-96e1-a83a37dd263e.lts.logstorage 以下截图仅供参考,请以实际的企业项目ID查询结果为准。 图1 查询资源账单 这里设置的统计维度为
仪表盘界面实时查看数据。 目前此功能在邀测中,支持华北-北京四、华北-乌兰察布一局点,针对白名单用户内测使用,后续将全网开放,敬请期待! 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条