检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段操作函数 本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
映射富化函数 本文介绍映射富化函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。支持和其他函数组合使用。
加工结果 日志被丢弃。 更多参考 支持和其他函数组合使用。 e_search 提供一种简化，类似Lucene语法的事件搜索方式。该功能在邀测期间，e_search函数处理日志流量比较小，请谨慎使用。 函数格式 e_search(querystring) 参数说明 参数名称 参数类型
流程控制函数 本文主要介绍流程控制函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 e_compose 用于组合一系列操作。 常用于e_if、e_switch、e_if_else中组合操作。 依次调用操作，将日志传递转换并返回最后的日志。 对于某一条日志，如果其中
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下： 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
对VPC流日志进行查询、分析和排查网络故障。本文介绍通过云日志服务数据加工对VPC流日志进行公网流量过滤的操作方法。 DSL加工的功能在邀测中，仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用，其他局点暂不支持。 前提条件 VPC流日志已接入LTS，详细请参见虚拟私有云VPC接入LTS。
字段值提取函数 本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括J
保存LTS快速查询日志条件 当您需要重复使用某一关键字搜索日志时，可以将其设置为快速查询语句。 创建快速查询 在云日志服务控制台，单击“日志管理”。 在日志组列表中，单击日志组名称前对应的按钮。 在日志流列表中，单击日志流名称，进入日志详情页面。 在“统计图表”页签，单击，输入“
正则表达式函数 本文介绍正则表达式函数的语法规则，包括参数解释、函数示例等。 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。 regex_findall 根据正则表达式获得符合条件的所有值列表。 匹配判断 regex_match 判断是否匹配正则表达式。
使用Java SDK管理消费组 消费组创建完成后，您可以使用集成云日志服务Java SDK通过消费组消费数据。 目前此功能在邀测中，暂不支持申请开通。 前提条件 使用云日志SDK前，您需要注册华为云账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionName。
'{streamId}' ); insert into print_sink select * from source; 父主题： 使用消费组管理消费数据（邀测）
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方
场景七：数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求，当原始日志中存在Unix时间格式字段，您可以使用e_set字段操作函数，将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1：不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数，两者区别如下所示： 普通映
设置云端结构化模板 云日志服务（LTS）目前支持的结构化模板有两种，分别为系统模板和自定义模板。 系统模板 支持多种系统模板，不支持修改系统模板的字段类型和删除字段，详情请参考表1。 在云端结构化解析页面中，日志结构化方式选择“结构化模板”。 在“选择模板”下，选择“系统模板”，
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时，您可以通过开启“自定义日志时间”开关，将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的，或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
设置日志云端结构化解析 云日志服务LTS目前支持五种日志结构化方式，分别是正则分析、JSON、分隔符、Nginx和结构化模板。您可以根据日志内容的实际场景进行选择。 正则分析：适用于日志文本中每行内容为一条原始日志，且每条日志可按正则表达式提取为多个key-value键值的日志解
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
