检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中间件-Kafka日志 Kafka的系统日志(也称为应用日志或运行日志)主要记录了Kafka集群在运行过程中产生的各种信息,例如启动和停止信息、配置加载、节点连接和断开、请求处理等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana。Grafana版本要求使用9
Service,简称LTS)是高性能、低成本、功能丰富、高可靠的日志平台。 提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能,满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值 云日志服务提供多种接入方式实现海量日志接入LTS,支持日志搜索引擎、
登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用地图展示查询数据。在通用配置下方,参考表1配置参数。
Engine,CSE)是用于微服务应用的云中间件。用户可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。 CSE仪表盘模板支持查看CSE层级访问中心、查看CSE层级监控中心和查看CSE层级秒级监控。 前提条件 已采集CSE日志。 日志配置结构化,详情请参见设置云端结构化解析日志。
提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。 云日志服务支持日志采集向导一站式采集DDS日志,DDS审计日志中心展示审计日志条数、访问用户数、访问客户端数等图表。
持的数据源类型有容器标准输出、容器文件路径、节点文件路径和K8S事件。 表1 采集配置参数表 类型 参数配置 容器标准输出 采集集群内指定容器日志,仅支持Stderr和Stdout的日志。采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段,在资源统计和计费时content字段和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 ICAgent结构化是
caddr和dstaddr字段的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_not函数、事件检查函数中的e_match函数删除srcaddr和dstaddr字段不符合IP地址格式的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_and和op_or函
制台创建日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作: 在云审计服务管理控制台,单击左侧导航栏中的“追踪器”。 单击追踪器“system”操作列的“配置”。 进入基本信息页面,单击下一步。 在“配置转储”页面,选择转储到OBS的相关信息和开启转储到LTS,单击下一步。
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现: 提供全场景日志接入,全面覆盖业务、应用、中间件和基础设施,实现快速收集日志。 支持秒级日志查询和分钟级日志监控,通过配置告警规则和告警通知,实现分钟级问题定位和分析。
了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 云日志服务支持日志采集向导一站式采集DCS日志,DCS审计日志中心仪表盘支持展示访问用户数、访问客户端数、审计日志条数等图表。
Firewall,CFW)是新一代的云原生防火墙,提供云上互联网边界和VPC边界的防护,包括实时入侵检测与防御、全局统一访问控制、全流量分析可视化、日志审计与溯源分析等,同时支持按需弹性扩容、AI提升智能防御能力、灵活扩展满足云上业务的变化和扩张需求,极简应用让用户快速灵活应对威胁。云防火墙可以
日志转储概述 主机和云服务的日志数据上报至云日志服务LTS后,LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准,详情请参考管理日志组和管理日志流。超出存
在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“统计图表”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求: 只支持
有歧义的语言。 隐私政策内容要包含产品及服务收集个人信息的目的、方式和范围,个人信息处理者的名称和联系方式等。 您的产品及服务如涉及向第三方共享个人信息或集成了第三方的SDK时,需要在隐私政策中向用户进行披露和说明,获取用户的授权或同意。 (二)处理个人信息要求 您的产品及服务在
日志管理概述 云日志服务LTS是以日志组和日志流为基本单位进行日志管理。使用云日志服务LTS之前,请先创建日志组和日志流。创建日志组后,可以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析
日志转储限制 本文介绍云日志服务转储的限制。 表1 日志转储限制 类别 限制项 说明 备注 转储OBS 单个日志流转储任务数量 1 个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。