检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数，两者区别如下所示： 普通映
DSL加工概述 DSL（Domain Specific Language）加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 约束与限制 DSL加工的功能在邀测中，仅支持华
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工，常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下： 方案 关键字提取 值提取
日志转储 批量修改LTS日志文件转储时区
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架，是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎，用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟（每秒处理数百万个事件，毫秒级延迟），以及结果的准确性（Flink提
使用Flume采集器上报日志到LTS Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且
使用Flume采集器上报日志到LTS Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且
LTS柱状图 柱状图是使用垂直或水平的柱子显示类别之间的数值比较，用于描述分类数据，并统计每一个分类中的数量。 云日志服务（LTS）提供的柱状图，有垂直柱子和水平柱子，矩形块宽度一定，高度代表数值大小。有多列数据映射到Y轴时，采用分组柱状形式显示。 默认采用垂直柱子，您可以根据自己的需要进行选择。基本构成如下：
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 场景一：过滤LTS日志
SQL字符串函数 功能描述 SQL提供字符串函数，用于对字符类型的数据执行拼接、大小写转换等操作，具体请参见表1。 SQL语法中，字符必须被单引号（''）包裹，无符号或双引号（""）包裹的为字段或表名称，如：'msg'表示字符串msg，msg或"msg"表示日志结构化msg字段。
查询日志转储 功能介绍 该接口用于查询OBS转储，DIS转储，DMS转储配置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/transfers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
SQL其他函数 功能描述 SQL提供的函数，还支持一些转换类型和CASE WHEN等逻辑运算，具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题： 日志加工（邀测）
通过ICAgent接入LTS后无法采集到日志？ 通过ICAgent接入LTS后无法采集到日志，需要等待1~5分钟，日志才会开始上报，如果还是没有查看到日志，请按如下方法进行排查。 操作步骤 在云日志服务控制台的“配置中心”页面，检查是否开启“ICAgent采集开关”。若“ICAg
更新日志转储 功能介绍 该接口用于更新OBS转储，DIS转储，DMS转储。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/transfers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获
创建日志转储（新版） 功能介绍 该接口用于创建OBS转储，DIS转储，DMS转储。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/transfers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作，并返回单个表达式。如果没有表达式作为参数传递，则结果为 NULL。表达式必须全部转换为公共数据类型，即结果的类型有： 如果所有的参数都是 NULL，结果是 NULL，否则，NULL 参数被忽略。 如果所有的参数包含了数
SQL最值函数 功能描述 SQL提供最值函数，对字段进行最值求解，具体请参见表1 最值函数对零个或多个字段进行操作，并返回单个值。 在最值函数的使用中请注意以下几点： 如果没有设置字段，则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值，则返回空值。如果只有部分字段为空值，这些字段会被忽略。
日志接入 主机接入LTS后无法采集到日志？ 在AOM关闭超额继续采集日志开关，会影响LTS收集日志吗？ 使用ICAgent收集日志时CPU占用较高怎么处理？ 云日志服务LTS支持采集的日志类型和文件类型有哪些？ 如何在LTS页面关闭CCE标准输出日志采集到AOM？ 使用ICAge
查看LTS实时日志 日志接入云日志服务后，每隔大约1分钟上报一次。因此，在实时日志页面，您最多需要等待1分钟左右，即可查看实时上报的日志，实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时，LTS会清空前500KB的日志，保留最新的500KB日志。 若
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
