访问日志
华为云 云日志 服务(Log Tank Service)提供一站式日志采集、秒级搜索、海量存储、结构化处理、转储和可视化图表等功能,满足应用运维、网络日志可视化分析、等保合规和运营分析等应用场景
日志分析服务 LOG 日志分析服务 LOG 日志分析服务(Log Analysis Service, 简称LOG)一站式海量实时日志分析服务,提供日志实时采集、智能分析与可视化、转储等功能。提供端到端的快速、易用、丰富的日志分析平台 日志分析服务(Log Analysis Service
企业应用的运维日志分散在不同的虚机上,包括应用运行日志、中间件日志等,日志分散,日志规模较大,为企业日志提供集中管理平台 优势 全托管式 提供日志采集、存储、老化、搜索和转储 海量日志管理 支持每天百TB级日志的接入,百亿级日志秒级搜索 性价比高 维护成本低,按需计费,轻松应对高峰日志流量
资源访问管理 RAM 资源访问管理 RAM 资源访问管理(Resource Access Manager,简称RAM)为用户提供安全的跨账号共享资源的能力。您可以创建一次资源,并使用RAM服务将该资源共享给指定对象(包括组织、组织单元以及账号) 资源访问管理(Resource Access
弹性负载均衡产品介绍 创建弹性负载均衡实例 配置弹性负载均衡访问日志 弹性负载均衡产品介绍 创建弹性负载均衡实例 配置弹性负载均衡访问日志 最佳实践 最佳实践 使用访问日志定位异常后端服务器 您可以通过云日志服务,查看访问七层共享型负载均衡请求的详细日志记录,分析负载均衡的响应状态码,快速定位异常的后端服务器。
云日志服务 LTS 资源 云日志服务 LTS 资源 提供一站式日志采集、秒级搜索、海量存储、结构化处理等功能,满足网络日志可视化分析等应用场景 提供一站式日志采集、秒级搜索、海量存储、结构化处理等功能,满足网络日志可视化分析等应用场景 控制台 专家咨询 文档 资源与工具 资源与工具
析、设备运维管理、用户业务趋势分析等。 控制台 专家咨询 文档 Linux主机接入云日志服务快速入门 Linux主机接入云日志服务快速入门 创建日志组和日志流 日志组和日志流是云日志服务进行日志管理的基本单位,在使用云日志服务时,您首先需要创建一个日志组和日志流。 安装ICAgent
应的智能访问控制 集中身份审计 用户可以集中管理操作日志、访问日志等,可以通过内置报表引擎进行可视化展示 用户可以集中管理操作日志、访问日志等,可以通过内置报表引擎进行可视化展示 用户自助服务中心 提供用户信息维护服务,使身份库能够及时更新和维护准确的身份信息;提供用户自助修改、
• WAF支持全量日志功能,您可以将攻击日志、访问日志记录到华为云的云日志服务(Log Tank Service,简称LTS)。 告警通知 用户可以通过Web应用防火墙服务对攻击日志进行通知设置。开启告警通知后,Web应用防火墙将仅记录和拦截的攻击日志通过用户设置的接收通知方式发送给用户。
网站已接入WAF进行安全防护后,您可以通过设置源站服务器的访问控制策略,只放行WAF回源IP段,防止黑客获取您的源站IP后绕过WAF直接攻击源站。 通过LTS配置WAF规则的拦截告警 开启WAF全量日志功能后,您可以将攻击日志、访问日志记录到云日志服务中,通过LTS记录的WAF
log流式上传到日志易服务器,也可以通过HTTP POST上传日志文件。日志接收日志上传到日志易的中央接收器,进入缓冲队列,等候处理。字段抽取日志易系统通过系统自带或用户配置的规则引擎解析日志,抽取关键字段,将非结构化的日志转化为结构化数据。索引对关键字段及日志全文做分布式索引,
log流式上传到日志易服务器,也可以通过HTTP POST上传日志文件。日志接收日志上传到日志易的中央接收器,进入缓冲队列,等候处理。字段抽取日志易系统通过系统自带或用户配置的规则引擎解析日志,抽取关键字段,将非结构化的日志转化为结构化数据。索引对关键字段及日志全文做分布式索引,
务功能的远程桌面服务器。从此,远程用户可以毫不费力地通过浏览器或远程桌面连接来访问您的服务器。高效功能除了成为一个远程访问服务器外,TSplus还拥有一系列高效的功能:网络畅通:无论使用何种操作系统(如Windows、Mac、iOS、Android或Linux),远程用户都能通过
log流式上传到日志易服务器,也可以通过HTTP POST上传日志文件。日志接收日志上传到日志易的中央接收器,进入缓冲队列,等候处理。字段抽取日志易系统通过系统自带或用户配置的规则引擎解析日志,抽取关键字段,将非结构化的日志转化为结构化数据。索引对关键字段及日志全文做分布式索引,
Log4x是一款通过简单配置即可使用的功能强大的日志管理及分析平台。它通过对系统主机、中间件、数据库及各应用系统产品的日志,进行统一收集、多维分析和灵活呈现Log4x实现对系统所涉及范围内的主机、服务器、网络设备、数据库以及各种应用服务系统访问等产生的日志,进行收集、分析和呈现。通过定义日志筛选规则和策略,帮助
求。强大的日志分析能力:LAS对多源异构设备日志进行采集,利用日志范式化、多源关联分析等技术,对日志进行综合处理,构建日志管理闭环,为威胁溯源分析提供依据。灵活的数据存储能力:LAS对采集到的日志进行压缩存储,支持硬盘扩容、备份FTP服务器、NFS网络文件共享等多种日志存储方案,
系统通过监测及采集信息系统中的系统安全事件、用户访问行为、系统运行日志、系统运行状态等各类信息,实现对信息系统整体安全状况的全面审计。4、安全运维工作落地,3、快速日志检索,1、日志集中存储及管理,2、异常分析及告警
与应用服务器之间,也可与数据中台联动,提供应用接口(API)级别的细粒度数据访问控制、敏感数据识别、数据脱敏、数据安全动态防护、安全日志审计与风险识别等数据安全功能。产品规格选型指导如下:闪捷应用安全访问控制系统(基础版)1、支持最大HTTP流量1000 Mbps;2、支持最大HTTPS流量500
的事件的记录。通过日志,IT管理人员可以了解系统的运行状况。而通过对安全相关的日志的分析,IT管理者可以检验信息系统安全机制的有效性,这就是安全日志审计,简称日志审计。而日志的产生、收集、审计分析和存储的全过程称作日志管理。日志审计需求主要源自于两个方面的驱动力。一方面,从企业和
LTS支持云数据库 GaussDB日志接入。 配置访问日志后,GaussDB实例新生成的审计日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 SDK接入 云日志服务Java SDK 云日志服务SDK提供了Java语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。
网络质量是业务稳定的基石,将日志上报至云日志服务,确保问题发生时能及时查看、定位问题,助力您快速定位网络故障,进行网络回溯取证。例如: 快速定位问题根源的云服务器,例如带宽过度使用的云服务器。 通过分析访问日志,判断业务是否遭到了攻击、非法盗链和不良请求等,及时定位并解决问题。 云日志服务相关文档
5、单击“确定”,配置完成。 查看访问日志 “弹性负载均衡”控制台,进入访问日志界面,即可查看访问日志。 “云日志服务”控制台,进入日志主题界面,在相应日志流名称所在行,单击“实时查看”或者“搜索日志”,即可查看访问日志。 定位异常服务器 筛选异常日志如下: 分析日志: 在 [2019-04-11T09:02:44+08:00
您可以在华为云官网使用云日志服务进行日志搜索与查看。日志搜索与查看的操作指引如下: 1.日志组和日志流是云日志服务进行日志管理的基本单位,在使用云日志服务时,您首先需要创建一个日志组和日志流,具体操作请参见创建日志组日志流 2.ICAgent是云日志服务的日志采集工具,运行在需要采集日志的云主机中。首次使用云日志服
介绍日志如何接入 日志接入 介绍日志如何接入 结构化配置 06:20 介绍如何配置日志结构化 结构化配置 介绍如何配置日志结构化 日志告警 03:46 介绍如何配置日志告警 日志告警 介绍如何配置日志告警 仪表盘配置 05:13 介绍如何配置日志仪表盘 仪表盘配置 介绍如何配置日志仪表盘
下载日志和查看实时日志等功能。 配置单个实例访问日志:添加单个实例的LTS配置。 解除单个实例访问日志:解除单个实例的LTS配置。 GaussDB日志使用须知 GaussDB日志使用须知 当前只提供主备版实例, 并且数据库引擎需要为2.1.0及以上版本。 访问日志提供了实例所请求
多样式图表和Dashboard ● 日志实时告警 日志告警 ● 将相似日志进行聚类,并支持智能告警分析,提升日志整体分析效率 ● 将相似日志进行聚类,并支持智能告警分析,提升日志整体分析效率 云日志服务相关文档 云日志服务如何管理日志 云日志服务如何接入日志 云日志服务搜索查询 云日志服务日志分析 云日志服务日志加工
如何进行日志分析 如何进行日志分析 什么是日志分析 什么是日志分析 云日志服务(Log Tank Service)提供日志分析的能力,对采集的日志数据,通过关键字查询、模糊查询等方式简单快速地进行日志分析查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的
如何实时查看日志 如何实时查看日志 用户可以在云日志服务管理控制台实时查看上报的日志,日志管理控制台为用户提供了日志查询功能,方便用户查看日志的操作。支持查看日志、备份概况和下载日志,用户可在云日志控制台进行查看和下载。 用户可以在云日志服务管理控制台实时查看上报的日志,日志管理控制
访问日志
操作场景
负载均衡 的访问日志功能支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录,包括请求时间、客户端IP地址、请求路径和服务器响应等。配置访问日志时需要您对接云日志服务,并且已经创建需要关联的云日志组和日志流。
七层负载均衡支持此功能,四层负载均衡不支持。
配置云日志服务
为了能够在云日志服务上面看到 弹性负载均衡 的日志,需要配置云日志服务。关于云日志服务的详细配置和操作方法,请参见《云日志服务用户指南》
配置 ELB 访问日志
- 单击页面左上角的,选择“网络 > 弹性负载均衡”。
- 在“负载均衡器”界面,单击需要配置访问日志的负载均衡器名称。
- 在该负载均衡器界面的“访问日志”页签,单击“配置访问日志”。
图2 配置ELB访问日志
图3 配置访问日志
- 开启日志记录,选择您在云日志服务中创建的日志组和日志流。
- 单击“确定”,配置完成。
查看访问日志
当您配置了访问日志,可以查看访问日志的详细信息。
查看方式以下两种:
- 通过“弹性负载均衡”控制台,进入访问日志界面,即可查看访问日志。
- (推荐)通过“云日志服务”控制台,进入日志主题界面,选择相应日志主题名称,单击“实时日志”,即可查看访问日志。
日志显示格式如下,日志字段说明如表1所示。不支持修改日志格式。
$msec $access_log_topic_id [$time_iso8601] $log_ver $remote_addr:$remote_port $status "$request_method $scheme://$host$router_request_uri $server_protocol" $request_length $bytes_sent $body_bytes_sent $request_time "$upstream_status" "$upstream_connect_time" "$upstream_header_time" "$upstream_response_time" "$upstream_addr" "$http_user_agent" "$http_referer" "$http_x_forwarded_for" $lb_name $listener_name $listener_id $pool_name "$member_name" $tenant_id $eip_address:$eip_port "$upstream_addr_priv" $certificate_id $ssl_protocol $ssl_cipher $sni_domain_name $tcpinfo_rtt $self_defined_header
参数 |
描述 |
取值说明 |
取值示例 |
---|---|---|---|
msec |
以秒为单位的时间,日志写入时的分辨率为毫秒。 |
浮点型数据 |
1530153091.868 |
access_log_topic_id |
访问日志流ID。 |
uuid |
04465dfa-640f-4567-8b58-45c9f8bbc23f |
time_iso8601 |
日志写入时的时间,采用ISO 8601标准格式本地时间。 |
- |
2018-06-28T10:31:31+08:00 |
log_ver |
ELB服务日志版本号。 |
固定值:elb_01 |
elb_01 |
remote_addr: remote_port |
客户端IP地址:客户端端口。 |
记录客户端IP地址和客户端端口号。 |
10.184.30.170:59605 |
status |
ELB响应的状态码。 |
记录请求状态码。 |
200 |
request_method scheme://host request_uri server_protocol |
请求方法。请求方式://主机名:请求URI 请求协议。 |
POST https://setting1.hicloud.com/AccountServer/IUserInfoMng/stAuth?Version=26400&cVersion=ID_SDK_2.6.4.300 |
|
request_length |
从客户端收到的请求长度(包括请求header和请求body)。 |
整型数据 |
295 |
bytes_sent |
发送到客户端的字节数 。 |
整型数据 |
58470080 |
body_bytes_sent |
发送到客户端的字节数(不包括响应头)。 |
整型数据 |
58469792 |
request_time |
请求处理时间,即ELB收到第一个客户端请求报文到ELB发送完响应报文的时间间隔(单位:秒)。 |
浮点型数据 |
499.769 |
upstream_status |
从上游服务器获得的响应状态码,当ELB代理进行请求重试时会包含多个响应的状态码,当请求未被正确转发到后端服务器时此字段为 -。 |
后端返回给ELB的状态码 |
200 或者 "-, 200",或者"502, 502 : 200",或者"502 : " |
upstream_connect_time |
与上游服务器建立连接所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个连接的时间,当请求未被正确转发到后端服务器时此字段为 -。 |
浮点型数据 |
0.008 或者 "-, 0.008" ,或者"0.008, 0.005 : 0.004",或者"0.008 : " |
upstream_header_time |
从上游服务器接收响应头所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个响应时间,当请求未被正确转发到后端服务器时此字段为 -。 |
浮点型数据 |
0.008 或者 "-, 0.008" ,或者"0.008, 0.005 : 0.004",或者"0.008 : " |
upstream_response_time |
从上游服务器接收响应所花费的时间,时间以秒为单位,分辨率为毫秒。当ELB代理进行请求重试时会包含多个响应时间,当请求未被正确转发到后端服务器时此字段为 -。 |
浮点型数据 |
0.008 或者 "-, 0.008" ,或者"0.008, 0.005 : 0.004",或者"0.008 : " |
upstream_addr |
后端主机的IP地址和端口号。可能有多个值,每个值都是ip:port或者-,用逗号空格隔开。 (该参数适用于独享型负载均衡) |
IP地址+端口号 |
-, 192.168.1.2:8080(可能有多个值,每个值都是ip:port或者-,用逗号空格隔开) |
http_user_agent |
ELB收到请求头中的http_user_agent内容,表示客户端的系统型号、浏览器信息等。 |
记录浏览器的相关信息 |
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36 |
http_referer |
ELB收到请求头中的http_referer内容,表示该请求所在的页面链接。 |
页面链接请求 |
http://10.154.197.90/ |
http_x_forwarded_for |
ELB收到请求头中的http_x_forwarded_for内容,表示请求经过的代理服务器IP地址。 |
IP地址 |
10.154.197.90 |
lb_name |
负载均衡器的名称(格式为“loadbalancer_” + “负载均衡器ID”)。 |
字符串 |
loadbalancer_789424af-3fd2-4292-8c62-2a2dd7005175 |
listener_name |
监听器的名称(格式为“listener_” + “监听器ID”)。 |
字符串 |
listener_fde03b66-f960-440e-954a-0be8b2b75093 |
listener_id |
监听器在ELB服务内部的ID(客户可忽略)。 |
字符串 |
- |
pool_name |
后端服务器组名称(格式为“pool_” + “后端服务器组ID”)。 |
字符串 |
pool_066a5dc5-a3e4-4ea1-99f1-2a5716b681f6 |
member_name |
后端服务器的名称(格式为“member_” + “服务器ID”,尚未支持)。可能有多个值,每个值都是member_id或者-,用逗号空格隔开。 |
字符串 |
member_47b07465-075a-4d2f-8ce9-0b9f39bff160(可能有多个值,每个值都是member_id或者-,用逗号空格隔开) |
tenant_id |
租户ID。 |
字符串 |
04dd36f921000fe20f95c00bba986340 |
eip_address:eip_port |
弹性IP地址和监听器监听的端口号。 |
弹性IP地址和监听器监听的端口号。 |
4.17.12.248:443 |
upstream_addr_priv |
后端主机的IP地址和端口号。可能有多个值,每个值都是ip:port或者-,用逗号空格隔开。 (该参数适用于共享型负载均衡) |
IP地址+端口号 |
-, 192.168.1.2:8080(可能有多个值,每个值都是ip:port或者-,用逗号空格隔开) |
certificate_id |
[HTTPS监听器]SSL连接建立时使用的证书ID(尚未支持)。 |
字符串 |
17b03b19-b2cc-454e-921b-4d187cce31dc |
ssl_protocol |
[HTTPS监听器]SSL连接建立使用的协议,非HTTPS监听器,此字段为 -。 |
字符串 |
TLS 1.2 |
ssl_cipher |
[HTTPS监听器]SSL连接建立使用的加密套件,非HTTPS监听器,此字段为 -。 |
字符串 |
ECDHE-RSA-AES256-GCM-SHA384 |
sni_domain_name |
[HTTPS监听器]SSL握手时客户端提供的SNI域名,非HTTPS监听器,此字段为 -。 |
字符串 |
www.test.com |
tcpinfo_rtt |
ELB与客户端之间的tcp rtt时间,单位:微秒。 |
整型数据 |
39032 |
self_defined_header |
该字段为保留字段,默认为“-”。 |
字符串 |
- |
日志示例
1644819836.370 eb11c5a9-93a7-4c48-80fc-03f61f638595 [2022-02-14T14:23:56+08:00] elb_01 192.168.1.1:888 200 "POST https://www.test.com/example /HTTP/1.1" 1411 251 3 0.011 "200" "0.000" "0.011" "0.011" "100.64.0.129:8080" "okhttp/3.13.1" "-" "-" loadbalancer_295a7eee-9999-46ed-9fad-32a62ff0a687 listener_20679192-8888-4e62-a814-a2f870f62148 3333fd44fe3b42cbaa1dc2c641994d90 pool_89547549-6666-446e-9dbc-e3a551034c46 "-" f2bc165ad9b4483a9b17762da851bbbb 121.64.212.1:443 "10.1.1.2:8080" - TLSv1.2 ECDHE-RSA-AES256-GCM-SHA384 www.test.com 56704 -
以上日志示例对应的字段如下:
参数 |
示例 |
---|---|
msec |
1644819836.370 |
access_log_topic_id |
eb11c5a9-93a7-4c48-80fc-03f61f638595 |
time_iso8601 |
[2022-02-14T14:23:56+08:00] |
log_ver |
elb_01 |
remote_addr: remote_port |
192.168.1.1:888 |
status |
200 |
request_method scheme://host request_uri server_protocol |
"POST https://www.test.com/example/1 HTTP/1.1" |
request_length |
1411 |
bytes_sent |
251 |
body_bytes_sent |
3 |
request_time |
0.011 |
upstream_status |
"200" |
upstream_connect_time |
"0.000" |
upstream_header_time |
"0.011" |
upstream_response_time |
"0.011" |
upstream_addr |
"100.64.0.129:8080" |
http_user_agent |
"okhttp/3.13.1" |
http_referer |
"-" |
http_x_forwarded_for |
"-" |
lb_name |
loadbalancer_295a7eee-9999-46ed-9fad-32a62ff0a687 |
listener_name |
listener_20679192-8888-4e62-a814-a2f870f62148 |
listener_id |
3333fd44fe3b42cbaa1dc2c641994d90 |
pool_name |
pool_89547549-6666-446e-9dbc-e3a551034c46 |
member_name |
"-" |
tenant_id |
f2bc165ad9b4483a9b17762da851bbbb |
eip_address:eip_port |
121.64.212.1:443 |
upstream_addr_priv |
"10.1.1.2:8080" |
certificate_id |
- |
ssl_protocol |
TLSv1.2 |
ssl_cipher |
ECDHE-RSA-AES256-GCM-SHA384 |
sni_domain_name |
www.test.com |
tcpinfo_rtt |
56704 |
self_defined_header |
- |
日志分析 :
在[2022-02-14T14:23:56+08:00]时,ELB接收到客户端地址和端口(192.168.1.1:888)发起的“POST /HTTP/1.1”请求,ELB将请求转发给后端服务器(100.64.0.129:8080),后端服务器响应状态码200,ELB最终向客户端响应状态码200。
分析结果:
后端服务器正常响应请求。
配置日志转储
如果您希望将日志转储进行二次分析,您可以参考本章设置日志转储。
- 登录管理控制台。
- 在管理控制台左上角单击图标,选择区域和项目。
- 单击页面左上角的,选择“管理与监管 > 云日志服务”。
- 在左侧导航栏,单击“日志转储”。
- 在日志转储页面,单击“配置转储”。
图4 配置日志转储
- 根据实际情况设置转储方式和其他配置项,具体操作请参见《云日志服务用户指南》。
访问日志常见问题
更多常见问题 >>-
云日志服务常见问题-日志转储类的问题解决。
-
云日志服务常见问题-日志搜索与查看类的问题解决。
-
结合云日志服务,您可以查看和分析对七层增强型负载均衡进行请求的详细访问日志记录,了解客户端请求访问状态,排查问题等。
-
介绍弹性负载均衡的使用、常见问题及优势,帮忙用户快速了解负载均衡。弹性负载均衡(Elastic Load Balance)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。
-
SFS的常见问题解答。
-
对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。
更多相关专题
更多精彩内容
域名注册服务机构许可:黔D3-20230001 代理域名注册服务机构:新网、西数