检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用
云审计服务CTS接入LTS 支持云审计服务CTS日志接入LTS。 前提条件 已购买并使用华为云CTS实例。 设置CTS接入LTS 云日志服务接入方式为云审计 CTS时,按照如下操作完成接入配置。 云审计服务记录的用户操作事件日志接入到云日志服务后,在云日志服务控制台默认存储时间为30
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中
弹性负载均衡 ELB接入LTS 支持弹性负载均衡ELB日志接入LTS。 前提条件 已创建并使用华为云ELB实例。 使用限制 当前ELB日志仅支持七层独享型负载均衡和七层共享型负载均衡,不支持四层共享型负载均衡。 设置ELB接入 云日志服务接入方式为负载均衡 ELB时,按照如下操作完成接入配置
API网关APIG接入LTS 支持API网关APIG日志接入LTS。 前提条件 已创建并使用华为云APIG实例。 设置APIG接入LTS 云日志服务接入方式为API网关 APIG时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“接入 > 接入中心”,单击
ICAgent插件采集日志概述 云日志服务LTS支持通过ICAgent采集方式上报日志。在创建日志接入时设置采集配置策略,例如解析规则、白名单规则、黑名单规则、上传原始日志等参数,实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志
日志接入概述 日志接入是指通过各种手段采集应用程序或服务在运行时产生的系统运行状态、错误信息、用户操作记录等日志信息,并将这些日志信息存储到指定的位置,以便后续分析和使用。这些日志信息对于系统运维、故障排查以及业务分析都具有重要意义。 云日志服务提供实时日志接入功能,通过ICAgent
如何获取AK/SK? AK/SK(Access Key ID/Secret Access Key)即访问密钥,表示一组密钥对。 AK:访问密钥ID,是与私有访问密钥关联的唯一标识符。访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK:与访问密钥ID结合使用的密钥,对请求进行加密签名
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。云日志服务每小时上报一次话单,以小时为周期统计云日志服务所有资源的使用量,并按照使用量结算费用。具体扣费规则可以参考按需产品周期结算说明
UserAgent访问TOP10图表所关联的查询分析语句如下所示: select http_user_agent as "UserAgent", count(1) as "PV" group by "UserAgent" order by "PV" desc limit 10 设备占比(终端
UserAgent访问TOP10图表所关联的查询分析语句如下所示: select user_agent as "UserAgent", count(1) as "PV" group by "UserAgent" order by "PV" desc limit 10 设备占比(终端
设置多账号日志汇聚 多账号日志汇聚中心支持您将多个账号下的日志流复制到指定的账号中,实现多账号日志的集中存储和分析,满足安全合规、集中分析等不同场景下的诉求。 目前此功能支持华东-上海一、中国-香港、亚太-雅加达、华南-广州、拉美-圣保罗一、华北-北京四、西南-贵阳一、拉美-圣地亚哥
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费云日志服务的计费规则。 适用场景 云日志服务采集日志后,日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询,并且可以长期存储。 适用计费项 按照用户实际使用的日志读写流量
资源函数 本文介绍资源函数的语法规则,包括参数解释、函数示例等。 函数列表 使用如下资源函数时,必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket
UserAgent访问TOP10图表所关联的查询分析语句如下所示: select http_user_agent as "UserAgent", count(1) as "PV" group by "UserAgent" order by "PV" asc limit 10 设备占比(终端
日志转储至DIS DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至