检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调用API 构造请求 认证鉴权 返回结果
批量修改LTS日志文件转储时区 您在LTS上经常会执行日志接入、日志告警、日志转储等配置操作。有些操作是需要重复多次配置,但目前LTS还没有提供控制台批量操作功能,这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储的
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一
SDK接入 使用LTS SDK相关问题 使用端侧SDK日志上报,如何配置权限认证?
上报日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 关于上报日志的约束与限制请参考日志读写限制。 URI POST /v2/{project_id}/lts
日志转储至DMS 分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。 前提条件 日志已接入LTS。 已购买DMS。DMS存储独立收费,收费详情请参见:华为云定价 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128.0
上报高精度日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳排序展示在页面上
概述 本文介绍字符串函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。 str_join 通过连接符将输入的字符串连接生成一个新的字符串。 str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串
分析LTS日志 可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右,即可对结构化后的日志进行SQL查询与分析。 约束与限制 日志可视化相关的功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、
LTS-Flink-Connector参数说明 云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式
安装ICAgent(区域内主机) 区域内主机是指用户登录云日志服务控制台所在Region区内的主机,例如北京四。如果您想使用云日志服务对区域内主机进行日志采集,例如主机指标、容器指标、采集节点日志、采集容器日志、采集标准输出日志等日志,那么您需要在区域内主机上需要安装ICAgent
与其他云服务的关系 云日志服务与其他服务之间关系,如表1所示。 表1 与其他服务之间关系 交互功能 相关服务 通过CTS服务,您可以记录与云日志服务相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可以将需要长期存储的日志转储至
使用KAFKA协议上报日志到LTS 您可以通过Kafka协议上报日志到日志服务,目前支持各类Kafka Producer SDK或采集工具,仅依赖于Kafka协议。支持以下场景: 场景1:已有基于开源采集的自建系统,仅修改配置文件便可以将日志上报到 LTS,例如Logstash。
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含当前信息状态
LTS日志计费相关问题? 使用LTS日志计费相关问题如下,具体单价请参考官网LTS价格详情说明。 原始日志流量及索引流量、读写流量的关系: 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率,原始日志流量为读写流量的5倍。 示例:原始日志为10GB
ICAgent插件采集日志概述 云日志服务LTS支持通过ICAgent采集方式上报日志。在创建日志接入时设置采集配置策略,例如解析规则、白名单规则、黑名单规则、上传原始日志等参数,实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
日志接入概述 日志接入是一个关键的过程,它涉及到收集应用程序或服务在执行过程中生成的各种日志信息,如系统运行状态、错误信息和用户操作记录等。这些信息被存储在特定位置,以便于后续的分析和应用,对于系统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICAgent
云日志服务Java SDK(log4j2插件) 云日志服务Java SDK提供了与log4j2适配的扩展插件,可以直接在log4j2中配置华为云appender,将通过log4j2产生的日志直接上报至云日志服务。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,
设置日志云端结构化解析 云日志服务LTS目前支持五种日志结构化方式,分别是正则分析、JSON、分隔符、Nginx和结构化模板。您可以根据日志内容的实际场景进行选择。 正则分析:适用于日志文本中每行内容为一条原始日志,且每条日志可按正则表达式提取为多个key-value键值的日志解析模式