检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 场景一：过滤LTS日志
字段操作函数 本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
完善的自我保护机制。为保证运行在服务器上的ICAgent，不会明显影响您服务器上其他服务的性能，ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前，您需要提前了解ICAgent采集的结构化解析规则，方便快速操作。支持组合解析，一个日志流的每个采集配
year(s)、month(s)、day(s)等参数的后面都带有s，表示这些参数可以有两种形式，即year和years，month和months等。以year和years为例，如果参数传递的是year，表示在年份粒度上覆盖为year参数的值；如果传递的是years，表示在年份粒度上增加years参数的值。同时要一起组
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的，即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时，我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
全局操作函数 否 默认的全局操作函数或其组合。没有条件满足时执行该操作。 返回结果 返回加工处理后的日志。 函数示例 如果content字段的值为123，则将__topic__字段的值设置为Number。如果data字段的值为123，则将__topic__字段的值设置为PRO。 测试数据
默认情况下，新建的IAM用户没有任何权限，您需要将其加入用户组，并给用户组授予策略或角色，才能使用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对LTS进行操作。 权限根据授权的精细程度，分为角色和策略。角色以服务为粒度，是IAM最初提供的一种根据用户的工作
业海量运维的自动化能力和效率。 AOM1.0与LTS关系 AOM1.0提供日志管理功能，该功能后台依赖LTS，日志相关的计费话单也是报给LTS。随着产品的发展，AOM1.0中的日志管理功能不再推荐使用。由于现在还有有大量存量用户将CCE日志采集到AOM，正在逐步引导客户将日志直接
lts-flink-connector source和sink日志不能为同一个日志流。 flink消费保证最终一致性，即您可以获取到这条日志流的全部内容，但由于时间为服务端时间，所以在获取日志流的过程中，可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者
e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map 对某列（查询字符串）以及其匹配的值的表格数据进行映射。 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。 函数格式 e_dict_map(data
减小查询时间范围后，再进行查询。 查询日志时匹配到的日志结果过多 可能原因：只有短语搜索#"value"才能保证关键词出现的顺序。例如查询语句abc def搜索的是同时包含abc和def的日志，无法准确匹配包含短语abc def的日志。 解决方法：推荐采用短语搜索#"abc def"，可以准确匹配包含短语abc
采集路径支持模糊匹配，匹配目录或文件名中的任何字符。示例：/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件；如果配置的是文件名，则直接采集对应文件，只支持文本类型的文件。
时间字段 时间字段类型 云日志服务的保留字段__time：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、查询、分析。 日志中原有的时间字段：日志在生成时，用于记录日志事件发生时间的字段，是原始日志的字段。 转换时间字段格式的方式： 将__time转化成时间戳
gGroupName和logStreamName。 当结构化字段类型和数据库表字段类型一致时，支持将日志的结构化字段转储至数据仓库服务GaussDB(DWS)，否则转储无效。 在结构化字段和表字段的下拉框，选择您需要转储的字段。 单击操作列下的，删除不需要的转储字段。 单击，添加需要转储的字段。
在“定时SQL”页签，单击目标作业名称进入详情页面，可查看定时SQL任务的基本信息和执行实例。 每一个实例的上报的日志条数最多为100行。 修改定时SQL 在“定时SQL”页签，单击目标作业名称操作列对应的“修改”。 在弹出的页面中，修改表2。 定时SQL的任务名称和源日志组/流名称无法进行修改。 删除定时SQL
创建日志组，请参考管理日志组。 创建日志流，请参考管理日志流。 支持多账号日志汇聚多个账号的日志流、日志组集中管理。请参考设置多账号日志汇聚。 在日志管理首页查看资源统计、我的收藏/我的收藏（本地缓存）、最近访问等信息。请参考查看日志管理。 父主题： 日志管理
方便快捷的方式进行查询，并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理，提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 海量日志存储搜索 对采集的日志数据，可以通过关
22222 } 子场景3：调用dt_parse函数和dt_parsetimestamp函数将字符串或日期时间转换为标准时间。 dt_totimestamp函数接收的参数类型为日期时间对象，不是字符串。因此需要调用dt_parse函数将time1的字符串值类型转化为日期时间对象类型。您也可
如果配置了jmes参数，则将日志字段的值转化为JSON列表，并使用JMES提取值作为下一步的值。如果没有配置jmes参数，则将字段的值直接作为下一步的值。 如果上一步的值是一个列表或JSON列表格式的字符串，则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析
与其他云服务的关系 云日志服务与其他服务之间关系，如表1所示。 表1 与其他服务之间关系 交互功能 相关服务 通过CTS服务，您可以记录与云日志服务相关的操作事件，便于日后的查询、审计和回溯。 云审计服务（Cloud Trace Service，简称CTS） 通过OBS服务，您可
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
