检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云日志服务移动端日志采集SDK开发者合规指南 《中华人民共和国个人信息保护法》自2021年11月1日起正式施行后,监管部门、各行业参与方和终端消费者越来越关注用户的隐私保护问题。为了有效治理App、SDK违规收集使用个人信息的现象,监管部门也陆续出台相关标准规范。 您作为开发者为最终用户提供服务
使用定时SQL进行日志加工 云日志服务提供定时SQL功能,用于定时分析日志内容。定时SQL支持标准的SQL语法,按照调度规则周期性执行日志分析,并将分析结果存储到目标日志流。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考结构化配置。 目前此功能仅在华北
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。 Token认证:通过Token认证调用请求
日期时间函数 本文介绍日期时间函数的语法规则,包括参数解释、函数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/
日志转储概述 主机和云服务的日志数据上报至云日志服务LTS后,LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准,详情请参考管理日志组和管理日志流。超出存储时间的日志数据将会被自动删除
聚合函数 本文介绍聚合函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列,返回处于percentage位置的数值。 arbitrary
日期和时间函数 本文介绍日期、时间函数的语法规则,包括参数解释、函数示例等。管道符特性处理的日期和时间为timestamp类型,返回值格式表现为yyyy-MM-dd HH:mm:ss.SSS TimeZone。 函数列表 表1 日期和时间函数 函数 描述 current_timestamp
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
采集Syslog汇聚服务器日志到LTS 背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生syslog
管理日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便您管理日志流,每个账号下可以创建100个日志组。 一个日志组通常对应公司内的某一个项目/业务,建议将某个项目/业务下的多个应用
字符串函数 本文介绍字符串函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 字符串函数 函数 描述 lpad函数 在字符串的开头填充指定字符,直到指定长度后返回结果字符串。如果未指定填充字符,则使用“ ”进行填充。 rpad函数 在字符串的结尾填充指定字符,直到指定长度后返回结果字符串
对象存储服务OBS接入LTS(邀测) 支持将对象存储服务桶内的文件一次性或定期导入到云日志服务,OBS服务接入LTS成功后,即可对日志进行搜索分析、日志加工等操作。加密桶的文件不支持导入LTS,若需要导入加密桶的文件,请先删除桶的加密配置,详细请参考删除桶的加密配置。 该功能仅支持华北
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日志
进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value
字段值提取函数 本文介绍字段值提取函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作,包括JSON
配置日志告警规则 LTS支持对日志流中的日志数据进行关键词告警、SQL告警、搜索分析告警,通过设置告警规则,实时监控服务运行状态。目前每个账号最多可以创建关键词告警与SQL告警共200个。 支持批量创建多个告警规则,请参考创建多个告警规则。 前提条件 已创建日志组、日志流,请参考管理日志组和管理日志流
ServiceStage云主机日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage云主机的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析
ServiceStage容器应用日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage容器应用的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析
云主机ECS文本日志接入LTS 弹性云服务器(Elastic Cloud Server)是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 当您选择了ECS接入方式时,云日志服务可以将ECS待采集日志的路径配置到日志流中
自建K8s应用日志接入LTS 自建K8s(kubernetes)是开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。将自建K8s集群内服务或集群节点特定路径文件的应用日志上报至LTS后,用户可以对Kubernetes集群内服务日志进行存储和分析。 您可以按照如下步骤完成接入配置