日志搜索与查看操作指导

您可以在华为云官网使用云日志服务进行日志搜索与查看。日志搜索与查看的操作指引如下:

1.日志组和日志流是云日志服务进行日志管理的基本单位,在使用云日志服务时,您首先需要创建一个日志组和日志流,具体操作请参见创建日志组日志流

2.ICAgent是云日志服务的日志采集工具,运行在需要采集日志的云主机中。首次使用云日志服务采集主机的日志时,需要安装ICAgent。,具体操作请参见安装iCagent

3.ICAgent安装完成后,需要将主机待采集日志的路径配置到日志流中,ICAgent将多条日志进行打包,以日志流为单位发往云日志服务,具体操作请参考接入日志

4.设置关键字或者模糊查询进行日志搜索,具体操作请参见日志搜索

5.索引是一种存储结构,用于日志搜索。通过配置索引后,可对日志进行日志搜索和分析操作,具体操作请参考配置索引


日志搜索的功能特性

采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行日志搜索,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志搜索分析,可以输出详细的运营数据。

快速分析

-指定查询日志关键词,LTS能够针对您配置的关键词进行统计和日志搜索,并生成指标数据,以便您实时了解系统性能及业务等信息

配置索引

-索引是一种存储结构,用于数据进行快速的日志搜索。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引,从而实现便捷的日志搜索能力。

快速查询

-当您需要重复使用某一关键字日志搜索时,可以将其设置为快速日志搜索语句。

日志搜索的产品优势

搜索性能好

十亿级日志秒级搜索

简单易用

通过关键词、模糊查询快速日志搜索。

实时分析

可以通过关键字查询、模糊查询等方式简单快速地进行日志搜索,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等

云日志服务与其他云服务的关系

云审计服务(Cloud Trace Service,简称CTS)

通过CTS服务,您可以记录与云日志服务相关的操作事件,便于日后的查询、审计和回溯。

对象存储服务(Object Storage Service,简称OBS)

通过OBS服务,您可以将需要长期存储的日志转储至OBS桶中,确保日志不丢失,实现数据持久化。

数据接入服务(Data Ingestion Service,简称DIS)

通过DIS服务,您可以将需要长期存储的日志转储至DIS,DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。

应用运维管理(Application Operations Management,简称AOM)

通过AOM服务,可以进行站点访问统计,可以将相关日志上报给AOM,对其进行监控与告警。

统一身份认证服务(Identity and Access Management,简称IAM)

通过IAM服务,您可以给帐号中的子用户授予使用云日志服务的权限。


云日志服务的计费模式

1. 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的大小,日志一般有5倍压缩率。

示例:原始日志为 10GB,实际压缩大小为 2GB,则以2GB 计费。

2. 日志索引流量:原始日志数据默认都会建立全文索引,在写入时一次性收取流量费用。

示例:原始日志为10GB,需要索引的流量为10GB,产生索引流量费用3.2元。

3. 日志存储空间:日志存储空间为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始数据大小。

示例:原始日志为10GB,那么一天存储最大收费为 0.000479*24*10=0.12元(金额如果遇小数点,则保留小数点后两位,第三位四舍五入。如遇四舍五入后不足¥0.01 元,则按¥0.01 元展示)。

云日志服务常见问题

  • 如何规划日志组/日志流?

    云主机部署的应用

    建议每个应用对应一个日志组,应用下的每个微服务的一种日志对应一个日志流。

    容器部署的应用

    建议每个CCE集群对应一个日志组(例如为每个CCE集群创建一个名为k8s-log-{clusterId}的日志组),该集群下的每个工作负载的一种日志对应一个日志流。

    云服务的日志

    建议为每种云服务创建一个日志组,该云服务的一个实例的日志对应一个日志流。

  • ICAgent安装失败怎么办?

    检查360安全卫士等杀毒软件是否正在运行。

    关闭360安全卫士后再进行icagent安装。


  • 进行日志搜索的实时最新日志,每一次加载数据时延是多久?

    正常情况下,每隔5秒加载一次。如果这5秒内没有产生日志,则不显示;5秒后会继续调用接口,刷新出产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。

  • 在云日志服务控制台查看不到原始日志,无法进行日志搜索怎么办?

    安装ICAgent,方法请参见:安装ICAgent

    采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。更多关于日志采集路径的说明请参见:配置日志采集规则

    登录AOM控制台,在“配置管理->日志配置->采集开关”页签,将采集开关置于“开启”状态。

    日志的计费依据为日志使用量,包括日志读写、日志索引和日志存储。超过免费额度后,将无法再进行日志搜索、日志读写和索引,同时也不再产生日志读写和索引费用。此时需要打开“超额继续采集日志”开关,详细说明请参见:配置中心

    客户欠费后,为防止相关资源不被停止或者释放,需要客户及时进行充值,详细说明请参见:欠费还款

    更换谷歌或火狐浏览器查询日志。


  • 如何手动删除日志?

    不可以手动删除。系统会根据设置的日志存储时间(1~30天)自动清理过期的日志数据。

  • 云日志服务可以采集哪类日志?

    主机日志,通过ICAgent采集器进行采集。当主机选择“Windows主机”时,如需采集系统日志,需要在“配置采集路径”环节,开启“采集Windows事件日志”。

    云服务日志,如ELB/VPC,需要到对应的云服务上启用日志上报。

    通过API上报日志。


  • 云日志服务支持采集哪些文件类型

    采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件,日志的时间(东八区 UTC/GMT+08:00)必须是最近7天以内的。

  • 日志转储后,LTS会删除转储的内容么?

    不会删除。日志转储是把日志“另存”一份至OBS,转储后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。

  • 日志转储页面,转储状态异常是什么原因?

    OBS桶被删除,请您重新指定已创建的存储桶。

    OBS桶策略异常,请您在对象存储服务中设置访问控制策略。

    Kafka集群被删除,请您重新创建Kafka转储配置。

    Kafka的topic被删除,请您重新创建或指定Kafka的topic。


云日志服务日志搜索操作指导教程

云日志服务介绍视频帮助您快速了解如何使用云日志服务 了解更多

日志接入

03:36

日志搜索

03:08

结构化配置

06:20

查看漏洞扫描日志

02:07