云容器引擎 CCE-通过云原生日志采集插件采集容器日志:使用云原生日志采集插件采集日志
使用云原生日志采集插件采集日志
- 启用云原生日志采集插件日志采集功能
在集群创建时启用云原生日志采集插件日志采集
- 登录云容器引擎(CCE)控制台。
- 在控制台上方导航栏,单击“购买集群”。
- 在“插件选择”页面中,选择“云原生日志采集插件”。
- 单击右下角“下一步:插件配置”,根据需求勾选以下配置。
- 容器日志:开启后,将创建名为default-stdout的日志策略,并上报所有命名空间下的标准输出到 云日志 服务(LTS)。
- Kubernetes事件:开启后,将创建名为default-event的日志策略,并上报所有命名空间下的Kubernetes事件到云日志服务(LTS)。
- 配置完成后,单击右下角“下一步:确认配置”,在弹出的窗口中单击“确定”,完成创建。
为已有集群启用CCE 云原生日志采集插件日志采集
- 查看并配置日志采集策略。
- 登录云容器引擎(CCE)控制台,单击集群名称进入集群,选择左侧导航栏的“日志中心”。
- 右上角单击“日志采集策略”,将显示当前集群所有上报LTS的日志策略。
图3 查看日志策略
若启用日志采集功能时勾选了采集容器标准输出和采集Kubernetes事件,将创建两个日志策略,并对接默认的LTS日志组、日志流。
- 创建日志策略:单击上方“创建日志策略”,输入要采集的配置信息。
策略模板:若启用日志采集功能时未勾选采集容器标准输出和采集Kubernetes事件,或者删除了对应的日志策略,可通过该方式重新创建默认日志策略。
图4 使用策略模板
自定义策略:用于配置自定义日志策略。
图5 自定义策略
- 不同日志类型的日志采集策略,建议选择不同的日志流上报日志,避免日志混乱。
- 容器/节点文件日志路径配置要求如下:
- 日志目录:请填写绝对路径,如/log。文件路径必须以/ 开头,只能包含大写字母、小写字母、数字或特殊字符-_/*?,且长度不能超过512个字符。
- 日志文件名:文件名称只能包含大写字母、小写字母、数字或特殊字符-_*?.。且不支持.gz、.tar、.zip后缀类型。
目录名和文件名支持完整名称和通配符模式,最多有三级目录采用通配符匹配,且第一级目录不能使用通配符。通配符只支持星号(*)和半角问号(?)。星号(*)表示匹配多个任意字符。半角问号(?)表示匹配单个任意字符。例如:
- 日志路径为/var/logs/*,文件名为*.log,表示/var/logs下所有目录中后缀名为.log的文件。
- 日志路径为 /var/logs/app_*,文件名为*.log,表示/var/logs目录下所有符合app_*格式的目录中后缀名为.log的文件。
表1 自定义策略参数说明 参数
配置说明
日志类型
容器标准输出:用于采集容器标准输出,可以按命名空间、工作负载名称、实例标签配置采集策略。
容器文件日志:用于采集容器内的日志,可以指定工作负载或指定实例标签配置采集策略。
节点文件日志:用于采集节点上的日志文件,一条日志策略只能配置一个文件路径。
日志源
- 所有容器:可以指定采集某个命名空间的所有容器,如不指定则采集所有命名空间的容器。
- 指定工作负载:指定采集哪些工作负载容器的日志,可以指定采集工作负载中具体容器的日志,如不指定则采集所有容器的日志。
- 指定实例标签:根据标签指定采集哪些工作负载容器的日志,可以指定采集工作负载中具体容器的日志,如不指定则采集所有容器的日志。
- 指定工作负载:指定采集哪些工作负载容器的日志,可以指定采集工作负载中具体容器的日志,如不指定则采集所有容器的日志。
- 指定实例标签:根据标签指定采集哪些工作负载容器的日志,可以指定采集工作负载中具体容器的日志,如不指定则采集所有容器的日志。
采集容器文件日志时,还需指定容器中的日志路径,详情请参见文件日志路径配置要求。
路径配置:用于配置需要采集的日志路径,详情请参见文件日志路径配置要求。
日志格式
- 单行文本
每条日志仅包含一行文本,以换行符 \n 作为各条日志的分界线。
- 多行文本
有些程序打印的日志存在一条完整的日志数据跨占多行(例如 Java 程序日志)情况,日志采集系统默认是按行采集。如果您想在日志采集系统中按整条显示日志,可以开启多行文本,采用首行正则的方式进行匹配,当选择多行文本时,需填写“日志匹配格式”。
例如,假设采集的日志格式如下,每条日志以日期开头但是占据三行,则可在“日志匹配格式”处填写时间的正则匹配,如\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}.*
在采集日志时,以日期开头三行日志会作为一条完整日志。2022-01-01 00:00:00 Exception in thread "main" java.lang.RuntimeException: Something has gone wrong, aborting! at com.myproject.module.MyProject.badMethod(MyProject.java:22) at com.myproject.module.MyProject.oneMoreMethod(MyProject.java:18)
上报到云日志服务(LTS)
用于配置日志上报的日志组和日志流。
- 使用默认日志组/日志流:将为您自动选择默认日志组(k8s-log-{集群ID})和默认的日志流(stdout-{集群ID})。
- 自定义日志组/日志流:可在下拉框选择任意日志组和日志流。
- 日志组:云日志服务进行日志管理的基本单位。如果您未创建日志组,CCE会提示您进行创建,默认名称为k8s-log-{集群ID},如 k8s-log-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3。
- 日志流:日志读写的基本单位,日志组中可以创建日志流,将不同类型的日志分类存储,方便对日志进一步分类管理。在安装插件或者根据模板创建日志策略时,会自动创建以下日志流:
容器日志:默认名称为stdout-{集群ID},如 stdout-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3
k8s事件:默认名称为event-{集群ID},如 event-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3
- 编辑日志策略:单击“编辑”按钮,可对已经存在的日志策略进行修改。
- 删除日志策略:单击“删除”按钮,可对已经存在的日志策略进行删除。
- 查看日志。
- 登录云容器引擎(CCE)控制台,单击集群名称进入集群,选择左侧导航栏的“日志中心”。
- 日志中心下有5个页签,支持不同类型日志查看。
- 容器日志:显示默认日志组(k8s-log-{集群ID})下默认日志流(stdout-{集群ID})中的所有日志数据,支持通过工作负载搜索。
图6 容器日志查询
- Kubernetes事件:显示默认日志组(k8s-log-{集群ID})下默认日志流(event-{集群ID})中的所有日志数据,用于查询集群产生的Kubernetes事件。
- 控制面组件日志:显示默认日志组(k8s-log-{集群ID})下默认日志流({组件名}-{集群ID})中的所有日志数据,用于查看集群控制面重要组件的日志信息。
- 控制面审计日志:显示默认日志组(k8s-log-{集群ID})下默认日志流audit-{集群ID})中的所有日志数据,用于查看集群控制面审计日志信息。
- 全局日志查询:支持查看所有日志组日志流下的日志信息。可通过选择日志流查看所选日志流中的日志信息,默认会选择集群默认日志组(k8s-log-{集群ID}),可通过单击切换日志组右侧的图标切换其他日志组。
图7 全局日志查询
- 容器日志:显示默认日志组(k8s-log-{集群ID})下默认日志流(stdout-{集群ID})中的所有日志数据,支持通过工作负载搜索。
- 单击右上角“日志采集策略”,单击“查看日志”,可以直接跳转至对应日志策略的日志列表。
图8 查看日志