检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。 网络互通: 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。 场景二:华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC,您也可以使用VPN/公网IP方式。
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
EEE MMM dd HH:mm:ss yyyy 标准的日期和时间。 Tue Nov 20 14:12:58 2020 EEE MMM dd yyyy 标准的日期,不带时间。 Tue Nov 20 2020 HH:mm:ss 标准的时间,不带日期。 11:59:59 %s Unix时间戳。
开启采集容器标准错误(stderr)后,选择采集目标路径:将标准输出和标准错误采集到不同的文件(stdout.log和stderr.log)、将标准输出和标准错误采集到同一个文件(stdout.log)。 被匹配上的容器的标准输出会采集到指定的日志流,原先采集到的AOM的标准输出会停止采集。
采集不同网络环境下的日志数据 LTS在各Region提供访问点,每个Region提供三种方式接入: 内网(经典网络):本Region内服务访问,带宽链路质量好(推荐)。 公网(经典网络):可以被任意访问,访问速度取决于链路质量、传输安全保障建议使用HTTPS。 私网(专有网络VPC):本Region内VPC网络访问。
处理动作,再将处理好的任务提交到发送任务池后,上报到LTS。 ICAgent安装说明 如果需要采集主机指标、容器指标、节点日志、容器日志、标准输出日志等,则需要在采集日志的机器上安装ICAgent。 请参考安装ICAgent(区域内主机)和安装ICAgent(区域外主机)。 区域
EEE MMM dd HH:mm:ss yyyy 标准的日期和时间。 Tue Nov 20 14:12:58 2020 EEE MMM dd yyyy 标准的日期,不带时间。 Tue Nov 20 2020 HH:mm:ss 标准的时间,不带日期。 11:59:59 %s Unix时间戳。
示。 表1 数据来源 类别 来源 接入方式 应用 程序输出 CCE接入 访问日志 WAF接入 语言 Java 云日志服务Java SDK(标准插件) Log4J Appender 云日志服务Java SDK(log4j2插件) LogBack Appender 云日志服务LogBack
监控文件数 容器场景下: 每个通过卷挂载日志的路径下,ICAgent最多采集20个日志文件。 每个ICAgent最多采集1000个容器标准输出日志文件,容器标准输出日志只支持json-file类型。 虚机场景下: 最大1000个文件。 不涉及。 默认资源限制 CPU 对CPU资源的消耗最大不超过2核。
使用ICAgent收集日志时CPU占用较高怎么处理? 云日志服务LTS支持采集的日志类型和文件类型有哪些? 如何在LTS页面关闭CCE标准输出日志采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS? LTS配置日志接入后多久有日志?
使用SDK接入LTS 云日志服务Java SDK(标准插件) 云日志服务Java SDK (结构化日志上报) 云日志服务Java SDK(log4j2插件) 云日志服务LogBack SDK 云日志服务Go SDK 云日志服务鸿蒙SDK 云日志服务Web SDK 云日志服务iOS
参数配置 容器标准输出 采集集群内指定容器日志,仅支持Stderr和Stdout的日志。 采集容器标准输出(stdout)和采集容器标准错误(stderr)。两者必须得有一个是开启状态。 开启后采集容器标准错误(stderr),可以选择采集目前路径:将标准输出和标准错误采集到不同的文件(stdout
能冷存储。 说明: 开启智能冷存储需要日志存储时间大于7天。 标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。
转储条件已触发,待转储成功时会有时间延迟。 延迟10Min。 例如:转储周期30分钟,8:30开始转储,最晚8:40可见转储文件。 不涉及。 转储目标桶 仅支持标准桶,不支持并行文件系统。 不涉及。 转储DIS 单个日志流转储任务数量 1 个日志流只能配置一个转储DIS任务。 不涉及。 转储周期 实时转储。
采集Syslog汇聚服务器日志到LTS 背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生
功能总览 功能总览 全部 云日志服务 日志组 日志流 主机管理 主机组 云主机ECS文本日志接入LTS 云端结构化配置 可视化 仪表盘 日志告警 日志转储 云日志服务 云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志服务,通过海量日志数据
表1 计费组成表 计费项 计费说明 日志读写流量 日志的传输流量。 日志索引流量 日志搜索依赖索引,系统默认开启全文索引。 日志存储量 分为标准存储和冷存储。请参考管理日志流开启冷存储。 日志转储 分为日志基础转储流量和日志高级转储流量。 计费周期 按需计费LTS资源按小时计费,每
I等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 采集容器应用日志的方式有:容器标准输出、容器文件、节点文件、K8S事件,建议优先使用容器文件。对比容器标准输出,容器文件的优点是可以持久化挂载到主机上,且输出的内容用户自主控制性更强。对比节点文件,容器文件的
"c": 10, "d": 22222 } 子场景3:调用dt_parse函数和dt_parsetimestamp函数将字符串或日期时间转换为标准时间。 dt_totimestamp函数接收的参数类型为日期时间对象,不是字符串。因此需要调用dt_parse函数将time1的字符串值类
查询”。 日志下方默认使用表格展示日志数据查询结果,在通用配置下方,参考表1配置参数。 图1 表格 表1 表格参数说明 类别 参数 说明 标准配置 格式化 将表格数据按照指定格式进行显示。 单位 自定义配置表格数据的单位。 小数点位数 设置显示数值小数点位数。 图表名称字号 设置图表名称的字号大小。