检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
intercept(Event event) 方法:用于拦截单个事件,并对事件进行处理。接收一个事件对象作为输入,并返回一个修改后的事件对象。 intercept(List<Event> list) 方法:事件批处理,拦截事件列表,并对事件列表进行处理。 close() 方法:关闭拦截器,在这里释放资源、关闭连接等。
Kafka的系统日志(也称为应用日志或运行日志)主要记录了Kafka集群在运行过程中产生的各种信息,例如启动和停止信息、配置加载、节点连接和断开、请求处理等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本
创建仪表盘分组 功能介绍 创建仪表盘分组 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/dashboard-group 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见
选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 企业项目需要开通后才能使用,请参考如何开通企业项目。 支持将该企业项目资源迁出,详细请参考迁出企业项目资源。 日志存储 若关闭日志存储,则无法开启日志存储时间。 开启“日志存储
细信息。通过访问日志,您可以了解到用户的IP地址、访问的URL、访问时间、请求的处理时间、HTTP响应状态码、请求的头部信息等。 错误日志(error_log):错误日志记录了Nginx服务器在处理请求过程中遇到的错误和警告信息。通过查看错误日志,您可以定位到问题的源头,从而进行故障排除。
基于VPN打通网络实现API或SDK跨云上报日志到LTS 方案概述 云上用户经常会遇到多云采集日志场景,需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络,实现API或SDK跨云上报日志。 本方案依赖云上VPN服务,可通过在
果不超过100亿条。仅支持分析最近30天内的数据,30天以上的数据不支持SQL分析。如您有更大的使用需求,请提工单申请。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{log_stream_id}/struct-content/query
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上
在LTS页面无法搜索日志时怎么办? 在LTS页面搜索日志时提示查询结果不精确、查询日志时匹配到的日志结果过多、XXX字段未配置字段索引,不支持查询该字段等报错时,请参考如下方法排查。 查询日志时提示查询结果不精确 可能原因:查询时间范围内总日志量过多,当前控制台显示的是查询时间范围内部分日志查询的结果,为不精确结果。
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用
若默认分词符不能满足您的需求时,可按照如下操作进行自定义配置。 注意事项 分词配置只会对配置时间点以后生成的日志生效,之前的日志按照之前配置的分词符进行处理。 在“分词配置”页签设置分词符后会对当前Region区域内的所有日志流生效,若需要单独配置单个日志流的分词符,请参考设置LTS日志索引配置。
输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。 目前此功能仅支持华北-乌兰察布二零一、华北-乌兰察
日志加工(邀测) 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
日志管理 LTS日志使用冷存储保存后遇到问题怎么办? 设置多账号日志汇聚后如何只保存一份日志内容?
提取字段的值不是合法的JSON格式时,是否严格限制加工。 默认值false。 false:忽略报错,数据加工继续处理,返回default定义的值。 true:直接报错,数据加工不再继续处理,直接丢弃该条日志。 返回结果 返回提取到的值。 函数示例 示例1:从content字段提取元素name的值。
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
计费FAQ 云日志服务LTS提供的500M免费额度怎么算? LTS日志计费相关问题? 在LTS页面如何停止计费 云日志服务LTS资源包相关问题 云端结构化日志读写流量、索引流量、存储流量的收费变化说明
日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办?
产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
不涉及。 日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。 网络错误处理 在出现网络异常时会主动重试,间隔5秒。 不涉及。 资源配额超限处理 当日志量太大,分配给ICAgent的资源无法满足日志上报的要求时,ICAgent尽量上报,失败会重试,持续资源不足日志采集会积压。