检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DSL加工(邀测) DSL加工概述 创建DSL加工任务 父主题: 日志消费与加工
LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana。具体操作,请参见Grafana官方文档。 Grafana版本要求使用9.0.0及以上版本。 下载LTS-Grafana插件压缩包。 需要在云日志服务控制台开通可视
批量修改LTS日志文件转储时区 您在LTS上经常会执行日志接入、日志告警、日志转储等配置操作。有些操作是需要重复多次配置,但目前LTS还没有提供控制台批量操作功能,这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储
得统计结果存在偏差。 限制条件 单个用户最多可创建10个日志指标规则,所有规则中添加的指标总数不能超过10。 创建日志指标规则 登录云日志服务控制台。 在左侧导航栏中选择“日志加工”。 在“生成指标”页签,单击“创建规则”。 配置日志的基本信息。 填写规则名称,最多256位,只能包含字母、数字、下划线、中划线。
中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
索引设置:开启索引后,日志服务默认为__receive_time__创建字段索引,索引数据类型为long类型。 上报日志的服务端时间,相当于LTS采集端接收到日志的时间。 __client_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__client_tim
ent是否对日志数据进行采集)、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”,单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
解析函数 本文介绍User-Agent解析函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
res_obs_file 使用res_obs_file函数从OBS Bucket中获取文件内容,并支持定期刷新。支持和其他函数组合使用。 建议日志服务Project和OBS Bucket处于同一地域,使用华为云内网获取数据。 函数格式 res_obs_file(endpoint,bucket
字典函数 本文介绍字典函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 dct_make 构建字典。 dct_update 更新字典。 dct_delete 删除字典值。 dct_keys 获取字典关键字列表。 dct_values 获取字典值列表。 dct_get
转换函数 本文主要介绍操作符函数的语法规则,包括参数说明、函数示例等。 函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。
事件操作函数 本文介绍事件操作函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep
析。详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 结构化完成后,使用云日志服务(LTS)提供的搜索语法用于设置搜索条件,帮助您更有效地搜索日志。详细请参考搜索日志。 云日志服务(LTS)支持使用SQL分析语法,对结构化后的日志字段进行日志分析,通过统计图表的方式对查
使用定时SQL进行日志加工 云日志服务提供定时SQL功能,用于定时分析日志内容。定时SQL支持标准的SQL语法,按照调度规则周期性执行日志分析,并将分析结果存储到目标日志流。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用,详细操作请参考提交工单,其他局点暂不支持该功能。
搜索日志 LTS搜索语法介绍 创建LTS快速分析 保存LTS快速查询日志条件 父主题: 日志搜索与分析(管道符方式-邀测)
IP解析函数 本文介绍IP解析函数的语法规则,包括参数解释、函数示例等。 函数 说明 geo_parse 根据IP地址解析出所属国家、省份和市信息 ip_cidrmatch 判断IP地址是否属于CIDR地址块 ip_version 判断IP地址为IPv4还是IPv6 ip_type
SQL函数 目前此功能处于邀测中,暂不支持用户开通,邀测期间可能会偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
z、A-Z、0-9、_、- 启用状态 默认开启。 说明: 创建DSL加工任务,需要您授权LTS创建一个云服务委托。因此当前用户需要具备委托相关的权限。当前用户需要授予IAM服务的以下权限,详细请参考创建自定义策略。 "iam:agencies:updateAgency", "iam:roles:listRoles"