正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 父主题: 日志加工(邀测)
search_time_range 是 Integer 查询执行任务时最近数据的时间范围,最大值为60 minute:最小值:1;最大值:60 hour:最小值:1;最大值:24 search_time_range_unit 是 String 查询时间单位 表5 Frequency 参数 是否必选
日志组和日志流。创建日志组后,可以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析、可视化展示、日志告警、日志转储、日志加工等。 为了快速了解并使用云日志服务LTS,建议您按照如下步骤进行操作:
在云日志服务LTS控制台的“日志接入”页面配置接入后,在“日志管理”页面,单击对应日志组进入日志详情页面,查看对应日志流的“实时日志” 页面,如果查看到实时日志即代表日志接入成功。等待1~5分钟,即可在LTS页面查看到上报的原始日志。 父主题: 日志接入
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据:无 加工规则 e_set("result", str_format("{}={}", "lts", 8)) 加工结果 result: lts=8
全量采集:ICAgent采集新文件时,从文件的开头开始读。 自定义元数据 关闭“自定义元数据”,使用ICAgent系统默认配置的字段上报到LTS,不需要用户配置且ICAgent系统不支持配置。 开启“自定义元数据”,根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段:勾选需要设置的内置字段。
在LTS页面分析华为云WAF日志 方案概述 WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办?
志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费,每个消费者不会重复消费数据。 同一个租户(Project_Id)下,消费组名称唯一。 消费者 消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保
缺省值:None 最小长度:30 最大长度:30 表3 请求Body参数 参数 是否必选 参数类型 描述 log_time_ns 是 Long 日志数据上报时间,UTC时间(纳秒)。 说明: 通过接口上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 contents
Astro轻应用接入LTS 支持Astro轻应用日志接入LTS,具体接入方法请参见查看运行日志。 父主题: 使用云服务接入LTS
Integer 查询执行任务时最近数据的时间范围(当search_time_range_unit为minute,则最大值为60;当search_time_range_unit为hour,则最大值为24) search_time_range_unit 是 String 查询时间单位 表5
设备接入IoTDA接入LTS 支持设备接入IoTDA日志接入LTS,具体接入方法请参见查看运行日志。 父主题: 使用云服务接入LTS
定义。 执行成功后,配置的日志组日志流里可以查看到该条日志。 或登录syslog汇聚服务器,查看/var/log/messages中是否存在testremotelog日志。 tail -f /var/log/messages 图5 查看是否存在testremotelog日志 通过
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
分布式消息服务Kafka版接入LTS 支持分布式消息服务Kafka日志接入LTS,具体接入方法请参见查看Kafka重平衡日志。 父主题: 使用云服务接入LTS
冷存储量费用=冷存储量(GB)× 每GB单价 无 流量费用 日志读写流量 日志读写流量包括写流量和读流量,详细说明如下: 写流量:数据(压缩后)被上传到日志服务时,按照传输的数据量计算写流量费用。 例如:原始数据量为5GB,则上传到云日志服务会产生1GB(压缩率20%)的写流量。 读流量:读流量暂未统计和收费。
北京。目前LTS控制台没有提供批量修改功能,如果手动修改每条转储规则,会导致人工耗时非常长。 前提条件 Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API