检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分析LTS日志 可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右,即可对结构化后的日志进行SQL查询与分析。 约束与限制 日志可视化相关的功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一
创建结构化配置(推荐) 功能介绍 该接口通过结构化模板创建结构化配置,便于参数提取且简化参数结构,推荐您使用。 单个用户每秒仅能调用1次该接口。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/struct/template 表1 路径参数
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
在LTS页面分析Log4j格式的应用运行日志 背景信息 Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 如统计今天某商品的交易量,示例日志如下:
日志生成指标(邀测) 支持创建日志指标规则,将上报到LTS的日志数据提取为指标来统一管理,便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组
查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每
查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每
ctor工具用于对接flink,包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据,支持exactly once语义,支持shard负载均衡,生产者用于将数据写入云日志服务,使用LTS-Flink-Connector工具时,需要在项目中添加maven依赖:
说明 使用云端结构化解析日志后读写流量、索引流量、存储流量变化说明如下: LTS结构化能力说明: 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段,在资源统计和计费时content字段和结构化字
查看日志。 支持区域: 全部 云主机ECS文本日志接入LTS 云端结构化配置 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 支持区域: 全部
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据
无法查看上报到LTS的日志怎么办? 问题描述 在云日志服务LTS控制台无法查看上报到LTS的日志。 可能原因 未安装ICAgent日志采集工具。 采集路径配置错误。 LTS控制台上的“配置中心 > ICAgent采集开关”未开启。 “超额继续采集日志”开关未开启。 当前账号欠费,故采集器停止采集。
的元素参考如下: 标题 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题 文字加粗 **告警** 链接 [查询url](http://example.com) 字体颜色 <font color="#FF0000">$
创建日志仪表盘 仪表盘是一种数据可视化工具,它汇总并呈现关键性能指标、重要数据和分析结果,为用户提供了一目了然的业务或系统运行状况概览。 云日志服务提供多种仪表盘模板,用户可以直接使用LTS提供的仪表盘模板展示日志数据,或者将查询分析结果的统计图表同步保存到仪表盘中进行展示。 前提条件
html)\"" } 解析需求 需求1:从Nginx日志中提取出code、ip、datetime、protocol、request、sendbytes、referer、useragent、verb信息。 需求2:对request进行再提取,提取出uri_proto、uri_domain、uri_param信息。
JMES提取字段后再进行分裂。 函数格式 e_split(字段名, sep=',', quote='"', lstrip=true, jmes=None, output=None) 分裂规则: 如果配置了jmes参数,则将日志字段的值转化为JSON列表,并使用JMES提取值作为下
内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为test.out.log,绕接后的文件名为test
示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 提取模式 根据日志类型选择提取模式,提取OBS日志超过1MB的部分会被截断丢弃。 单行日志单行超过1MB的部分被截断丢弃。 多行日志多行块超过1MB的部分被截断丢弃。
json”文件,可以在项目的根目录下,使用以下命令来创建:npm init。 运行安装SDK的命令,安装SDK软件包。 单击开发者工具菜单栏中的“工具 > 构建npm”,构建当前工程的npm库文件。 采用文件引入方式集成SDK。 运行安装SDK的命令,安装SDK软件包。 找到SDK文件夹中的app
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)