检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储至DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
什么是云日志服务 云日志服务(Log Tank Service,简称LTS)是高性能、低成本、功能丰富、高可靠的日志平台。 提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能,满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值
将自建ELK日志导入云日志服务LTS 方案概述 ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logs
DMS仪表盘模板 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Reb
特定结构化数据函数 本文介绍特定结构化数据函数的语法规则,包括参数解释、函数示例等。 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免
日志生成指标(邀测) 支持创建日志指标规则,将上报到LTS的日志数据提取为指标来统一管理,便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组
字段值提取函数 本文介绍字段值提取函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作,包括J
功能总览 功能总览 全部 云日志服务 日志组 日志流 主机管理 主机组 云主机ECS文本日志接入LTS 云端结构化配置 可视化 仪表盘 日志告警 日志转储 云日志服务 云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志服务,通过海量日志数据
日期时间函数 本文介绍日期时间函数的语法规则,包括参数解释、函数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03
映射富化函数 本文介绍映射富化函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射,根据输入的字段名称返回字段值。支持和其他函数组合使用。
云日志服务Java SDK (结构化日志上报) 云日志服务SDK提供了Java语言上报结构化日志的一系列方法,方便用户直接使用编码方式上报结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。
中间件-Zookeeper日志 ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,是将复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的系统,并以一系列简单易用的原子操作提供给用户使用。ZooKeeper的主要功能包括配置维护、域名服务、分布式同步、组
弹性负载均衡 ELB接入LTS 支持弹性负载均衡ELB日志接入LTS。 前提条件 已创建并使用华为云ELB实例。 使用限制 当前ELB日志仅支持七层独享型负载均衡和七层共享型负载均衡,不支持四层共享型负载均衡。 设置ELB接入 云日志服务接入方式为负载均衡 ELB时,按照如下操作完成接入配置。
虚拟私有云VPC接入LTS 支持虚拟私有云VPC日志接入LTS。 前提条件 购买并使用华为云VPC实例。 使用限制 目前支持的弹性云服务器,请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入
API网关APIG接入LTS 支持API网关APIG日志接入LTS。 前提条件 已创建并使用华为云APIG实例。 设置APIG接入LTS 云日志服务接入方式为API网关 APIG时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“日志接入 > 接入中心”,单击“API网关
查询结构化模板 功能介绍 该接口用于查询结构化模板。 说明: 单个用户每秒最多可调用50次该接口。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/lts/struct/customtemplate 表1 路径参数 参数 是否必选 参数类型 描述
编码解码函数 本文介绍编码解码函数的语法规则,包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。
ICAgent插件采集日志概述 云日志服务LTS支持通过ICAgent采集方式上报日志。在创建日志接入时设置采集配置策略,例如解析规则、白名单规则、黑名单规则、上传原始日志等参数,实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上。