检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 方案流程图 将自建ELK日志导入云日志服务LTS 登录云日志服务控制台。 请参考安装ICAgent在ECS主机安装ICAgent。 配置ECS日志接入云日志服务,请参考ECS接入。 脚本执行前期准备。以下示例仅供参考,请以实际信息填写为准。 首次使用python,需要安装python环境。
管理日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便您管理日志流,每个账号下可以创建100个日志组。 一个日志组通常对应公司内的某一个项目/业务,建议将某个项目/业务
task_set_id,period_times limit 10000) 读流量图表所关联的查询分析语句如下所示: * | select sum(max_in_flow)/1024.0/1024 as \"读流量 MB\" from (select max_by(in_flow,__time)
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据
企业路由器ER接入LTS 支持ER企业路由器日志接入LTS。 具体接入方法请参见创建流日志。 父主题: 使用云服务接入LTS
安装ICAgent 以登录华为云ECS主机为例子进行介绍,请以实际采集主机为准。详细操作请参考远程登录Linux弹性云服务器(VNC方式)。 进入弹性云服务器ECS控制台。 找到需要安装ICAgent的ECS主机,单击目标主机操作列的“远程登录”。 在弹出的“登录Linux云服务器”窗口中,选择“
基本概念 日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,可以创建日志流以及设置日志存储时间。 日志流 日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,方便对日志进一步分类管理。 日志读写以日志流为单位,您可以在写入时指定日志流,将
权限的作用范围:指定区域项目资源。 委托创建成功后,设置委托生效。 进入弹性云服务器控制台。 单击需要安装ICAgent的弹性云服务器名称,进入弹性云服务器参数配置页面。 您可以在购买ECS机器时设置委托,请在“购买弹性云服务器”页面,“高级配置”中选择“现在配置”,在“委托”中选择已创建
不涉及。 转储条件已触发,待转储成功时会有时间延迟。 不涉及 不涉及。 转储速率阈值 转储速率上限为DMS(kafka)集群流量上限。 超过KAFKA集群流量上限时,转储数据会不稳定。 不涉及。 转储DWS 单个日志流转储任务数量 一个日志流仅可创建一个DWS转储任务 不涉及。 转储周期
析ELB日志数据。您可以参考如下内容,进行具体的操作配置。 无服务器日志实时分析 该解决方案帮助您无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档,基于云日志服务 LTS实时采集弹性云服务器 ECS的日志数据,通过函数工作流 FunctionGraph的LTS触
远程卸载:此操作适用于正常安装ICAgent后需远程卸载的场景。 除了上述登录服务器上执行uninstall.sh命令卸载ICAgent的方式,还可以对服务器进行远程卸载。 在已安装ICAgent的服务器上执行如下命令,其中x.x.x.x表示待卸载ICAgent的服务器的IP地址。 bash /opt/oss/s
日志管理 统计top n的日志组或日志流流量 按时间段统计查询资源 查询日志 查询结构化日志(即将下线不推荐使用) 查询结构化日志(新版) 查询日志直方图 查询上下文日志 取消收藏 创建日志收藏 父主题: API说明
maxRetryBackoffMs> <!-- 默认false, true: 可以跨云上报日志, false: 仅能在华为云ecs主机上报日志 --> <enableLocalTest>false</enableLocalTest> <!-- 超过1M的日志
使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
select "运营商", "访问次数", round( CASE WHEN "下载流量(GB)" > 0 THEN "下载流量(GB)" ELSE 0 END, 2 ) AS "下载流量(GB)", round( CASE WHEN "下载速度(KB/s)" >
多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。 异构网:VPC、用户自建IDC,华为云ECS等。 多开发语言:核心系统Java、前端Nginx服务器、后台支付系统C++。 设备不同:商家有不同平台(X86、ARM)设备。 如果需要把散落在外部、内部的日志收集起来,可以通过LTS实现统一管理日志。
未提供认证信息,或认证信息错。 403 Forbidden 请求页面被禁止访问。 404 Not Found 服务器无法找到被请求的资源。 408 Request Timeout 请求超出了服务器的等待时间。 429 Too Many Requests 当前请求过多。 500 Internal
单击源日志流操作列的,在修改日志流页面,关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字