检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
se中组合操作。 依次调用操作,将日志传递转换并返回最后的日志。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作,不满足条件则不进行对应操作,直接进行下一个条件判断。 对于某一条日志
单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为VPC系统模板,索引配置时将所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=vpc_flow
多值计算比较 op_sum 对传入值进行求和操作。 基础计算 op_abs 对传入值进行绝对值操作。 op_div_floor 对传入值进行整除操作。 op_div_true 对传入值进行除法操作。 op_pow 对值进行幂值计算操作。 op_mul 对传入值进行乘法运算。 op_neg 计算传入值的相反数。
通过ECS接入LTS采集Zabbix数据 本实践介绍将Zabbix中的监控数据采集到云日志服务的日志流中。 日志接入 采集多渠道日志数据到LTS 本实践介绍采集多渠道日志数据到LTS。 日志搜索与分析 在LTS页面分析华为云ELB日志 本实践主要介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。
流为采集到集中日志流时,会进行该项内容检查。 存在系统推荐的集中采集的日志流。支持修改日志流的日志存储时间和备注。当选择日志流为采集到集中日志流时,会进行该项内容检查。 如果以上三项中,有任意一项不符合要求,需单击“自动修复”按钮进行修复,否则将无法进行下一步操作。 自动修复:一键帮您完成以上三项配置。
自定义元数据 本示例默认关闭自定义元数据,ICAgent会根据系统默认的内置字段和自定义键值对上传LTS。 - 日志格式 用于设置采集日志上报LTS后显示格式,本示例选择“单行日志”。 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。
- 功能与1.0.28版本相同,可支持kotlin 1.3.x。 Android 7 及以上。 1.0.27 单击下载 单击下载 优化了缓存效率。 Android 7 及以上 0.0.4 请通过mavenCentral下载。 - 功能与1.0.27版本相同,可支持kotlin 1.3
168.0.1 tag: stu id: 7990 content: this is a log } 父主题: 使用DSL加工函数清洗LTS日志数据
安全云脑SecMaster接入LTS 支持安全云脑SecMaster日志接入LTS。 具体接入方法请参见新增数据投递。 父主题: 使用云服务接入LTS
表示不进行匹配判断。 drop_packed Boolean 否 打包数据后是否删除被打包的原数据,默认为true。 true(默认值):输出结果中删除被打包的原数据。 false:输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。 函数示例 示例1:将日志所有
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。
委托方的日志组,在原有的日志组中进行选择。 源日志流 委托方的日志流,在原有的日志流中进行选择。 被委托方 目标日志组 被委托方的日志组,可在原有的日志组中进行选择或直接输入名称进行新建日志组。 目标日志流 被委托方的日志流,可在原有的日志流中进行选择或直接输入名称进行新建日志流。 单击“预览”,查看预览结果。
e_kv函数和e_kv_delimit函数都可以通过prefix="", suffix=""对关键字和值进行加工。 原始日志 { "content":"q=asd&a=1&b=2" } 加工规则(各语句分开执行,功能相同) e_kv("content", sep="=", quote='"', prefix="start_"
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 单行-全文日志 采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 选择单行-全文日志。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规
SQL比较运算符 功能描述 比较运算符用于比较两个值,并返回真(true)或假(false)。比较运算符可以对数值类型进行大小比较,对STRING类型进行包含比较,比如数值类型的字段num1 < num2是否为真,STRING类型的str1是否存在于字符串strs中等,具体请参见表1。
{ "type": "log", "content": "this is a log" } 父主题: 使用DSL加工函数清洗LTS日志数据
用等多类端侧日志无法快速采集。 数据传输不可靠:移动端日志数据量多且频繁,传输速度慢,也极易出现丢失,对业务分析造成一定影响。 数据处理不方便:原始数据不方便处理,不方便快速与大数据平台实现对接。 云日志服务LTS支持采集多种移动端日志,融合大数据完成业务运营分析,基于LTS可以实现: