检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志可视化、下载日志和查看实时日志等操作。 云日志服务支持日志采集向导一站式采集DDS日志,DDS审计日志中心展示审计日志条数、访问用户数、访问客户端数等图表。 前提条件 已采集DDS日志,详情请参见文档数据库服务DDS接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。
参考设置多账号日志汇聚成功后,即源日志组/日志流的日志内容汇聚到目标日志组/日志流,LTS同时保存用户两个账号下的日志内容。用户创建源日志组/日志流和目标日志组/日志流时会设置日志存储时间,LTS按照日志存储时间保存日志内容。如何设置保存一份日志内容,请参考如下操作。 关闭日志存储 使用源日志组/日志流所在的账号登录云日志服务LTS控制台。
日期时间函数 本文介绍日期时间函数的语法规则,包括参数解释、函数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03
操作日志 云堡垒机CBH接入LTS - 6 CCE 云容器引擎 用户应用日志 CCE管理面日志 云容器引擎CCE应用日志接入LTS - 7 CDN 内容分发网络 访问日志(CDN) 内容分发网络CDN接入LTS CDN用户分析 CDN错误分析 CDN热门资源 CDN基础数据 8 CFW
日志组ID:登录云日志服务页面,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 日志消费与加工
非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。
通过Flume采集SNMP协议上报的设备管理数据并发送到LTS 使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flu
不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
置日志接入时以主机组为单位下发采集配置,方便您对多台主机日志进行采集。请参考图1。 当用户扩容主机时,只需在主机组中添加主机,该主机会自动继承关联的日志路径,无需为每台主机重复配置路径。 当用户修改多个主机采集路径时,只需修改对应的主机组关联的路径,无需为每台主机重复配置路径。 图1
CTS”进行CTS接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后
ID,日志组ID、日志流ID group_id 是 String 日志组ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID stream_id 是 String 日志流ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 请求参数 表2 请求Header参数
创建快速分析前请先对原始日志进行设置云端结构化解析日志。 创建快速分析 快速分析以日志流为单位,请参考如下步骤创建快速分析。 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。 支持两种方式创建快速分析: 单击进入设置详情页面,在索引配置
日志组ID:在云日志服务控制台,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 使用SDK接入LTS
DISTINCT visitCount FROM 表示当前查询数据的源数据集, 可以是当前日志流的结构化数据, 也可以是当前日志流结构化数据的一个子集。 不加FROM的时候默认从当前日志流结构化数据查询,如果查询的数据源是一个子集, 则需要自己编写子查询语句。 SELECT visitCount
APIG”进行APIG接入配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后
出到LTS,不推荐采集到AOM。 ICAgent诊断开关用来控制是否开启采集诊断功能。开关开启后ICAgent运行日志将上报到日志组/日志流lts-system/lts-icagent-statistics,然后您可以使用采集诊断功能查看ICAgent运行状态,及时发现异常情况,此功能仅支持5
解析函数 本文介绍User-Agent解析函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
资源函数 本文介绍资源函数的语法规则,包括参数解释、函数示例等。 函数列表 使用如下资源函数时,必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定
字典函数 本文介绍字典函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 dct_make 构建字典。 dct_update 更新字典。 dct_delete 删除字典值。 dct_keys 获取字典关键字列表。 dct_values 获取字典值列表。 dct_get