检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果没有开通管道符方式,需要使用SQL日志分析功能,请开启“日志分析”。 图1 日志分析 “日志分析”功能即将下线,建议直接使用管道符方式进行分析,详细请参考日志搜索与分析(管道符方式-邀测)。 开通管道符方式后,新建的日志流在索引配置页面不显示“日志分析”开关。 配置字段索引 创建字
日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。 日志数据默认存储30天,可以在1~365天之间设置。 打开日志流的“日志存储时间”:日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”:日志的存储时间使用日志组设置的日志存储时间。 智能冷存储
LTS成长地图 日志组 日志组(LogGroup)是LTS进行日志管理的基本单位,可以创建日志流以及设置日志存储时间,每个账号下可以创建100个日志组。 支持区域: 全部 创建日志组 日志流 日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,将不同类型的日志分类存储
使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LT
基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用,详细操作请参考提交工单,其他局点暂不支持该功能。 前提条件 日志已接入云日志服务(LTS)。 日志流已配置结构化规则。
String 日志转储状态,ENABLE是指日志转储开启状态,DISABLE是指日志转储关闭状态,EXCEPTION是指日志转储异常状态 log_transfer_type String 日志转储类型。OBS指OBS日志转储,DIS指DIS日志转储,DMS指DMS日志转储。 表7 log_agency_transfer
String 日志组id log_group_name 否 String 日志组名称,日志组名称有误时按照日志组id创建日志收藏 log_stream_id 是 String 日志流id log_stream_name 否 String 日志流名称,日志流名称有误时按照日志流id创建日志收藏
使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LT
String LTS的日志组ID。 tenant_stream_id 是 String LTS的日志流ID。 log_time_ns 是 Long 日志数据采集时间,UTC时间(纳秒)。 说明: 采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。
场景一:过滤LTS日志 场景二:使用e_set函数为日志空缺字段赋值 场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景五:使用default传参为日志不存在的字段填充默认值
单行日志。time:日志时间,regular:正则模式。 value 是 String 日志时间。当mode为"regular",则输入正则表达式当mode为"time",则时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间;如果日志中的时间格式为:2019-01-01
参考表3设置日志格式、日志时间。 表3 日志采集信息 名称 说明 日志格式 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志
目标日志流初始化时默认采用源账号日志流的索引配置和结构化配置,配置成功后,若源账号日志流修改索引/结构化配置则不会同步到目标日志流。 删除源账号的日志组/日志流不会对目标账号的日志组/日志流造成影响。 取消勾选日志组/日志流并成功下发配置后,该日志组/日志流将不再继续汇聚。 父主题: 日志管理
维。 CSE仪表盘模板支持查看CSE层级访问中心、查看CSE层级监控中心和查看CSE层级秒级监控。 前提条件 已采集CSE日志。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CSE层级访问中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“CSE仪表盘模板
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 log_group_id 是 String 日志组ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID。 最小长度:36 最大长度:36 请求参数 表2
日志转储 日志转储概述 日志转储至OBS 日志转储至DIS 日志转储至DMS 日志转储至DWS 日志转储至DLI
SQL查询与分析。 登录云日志服务控制台,在左侧导航栏中,选择“日志管理”。 在日志列表中,单击日志组名称前对应的,选择目标日志流,进入日志详情页面。 选择“日志分析”,在SQL查询条件框中,选择对应时间并输入SQL语句,单击“查询”进行日志搜索。 当设置时间范围内日志量超过10亿行时会
nt安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定义,因为这部分可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如
在LTS控制台如何手动删除日志数据? 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
需要删除重复的采集路径。 检查实时日志是否上报。 登录云日志服务控制台,进入日志管理页面。 单击目标日志流名称,进入日志详情页面。 选择实时日志页面后不需要单击任何按钮。然后尝试触发上报日志,观察实时日志页面是否自动刷新出数据,若有日志,则代表上报成功。若长时间无数据,请按如下步骤排查ICAgent。