检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此场景,具体消费情况如下表1所示。 表格中的价格仅为示例,实际计算请以价格计算器中的价格为准。
本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含当前信息状态,以及相关服务器和客户端节点的统计状态信息。 日志样例
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: 主要日志(cluster-name
进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:自定义策略中授权项定义的内容即为权限。 对应API接口:自定义策略实际调用的API接口。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。
TS支持的操作系统,否则无法使用LTS对主机日志进行采集。 对于Linux x86_64服务器,LTS支持上表中所有的操作系统及版本。 对于Linux ARM服务器,CentOS操作系统仅支持7.4 及其以上版本,上表所列的其他操作系统对应版本均支持。 表1 LTS支持的操作系统及版本(Linux)
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
额外操作。 将解压后的xcframework静态库添加到您的项目工程中。 待导入的xcframework静态库必须和工作空间在相同的磁盘空间里,如果不在,您可以选择注意勾选“Copy items if needed”和“Create groups”,将待导入的xcframework库工程文件复制到工作空间。
认证用的AK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放, 使用时解密, 确保安全--> <!-- accessKeySecret:华为云账号的SK, 认证用的SK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放, 使用时解密, 确保安全-->
多个项目时,具体的项目人员只需要查看所属项目对应的日志组下的日志流即可,其它项目的日志流不会对其产生干扰。 LTS支持按照业务需求对不同的日志组添加对应的标签,方便运维人员管理业务。 前提条件 如果您使用华为账号创建的IAM用户进行操作,IAM用户需要具备足够的权限才能使用云日志
本章节主要介绍华为云日志服务(LTS)对比自建ELK,帮助您更好的了解LTS的主要功能和优势。 背景信息 提到日志搜索,很多人都会想到基于ELK Stack(Elasticsearch/Logstash/Kibana)来搭建,开源的ELK方案,在社区中有大量的内容和使用案例供大家参考。 华为云日志服务
华为云账号的项目ID(project id)。 String 必填 - accessKeyId 华为云账号的AK。认证用的AK硬编码到代码中或者明文存储都有很大的安全风险,建议密文存放,使用时解密,确保安全。 String 必填 - accessKeySecret 华为云账号的SK。
采集路径支持模糊匹配,匹配目录或文件名中的任何字符。示例:/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。
VPC)或本地网络来构建中心辐射型组网,是云上大规格、高带宽、高性能的集中路由器。企业路由器使用边界网关协议(Border Gateway Protocol, BGP),支持路由学习、动态选路以及链路切换,极大的提升网络的可扩展性及运维效率,从而保证业务的连续性。 云日志服务支持日志采集向导一站式采集
可以参考如下内容,进行具体的操作配置。 无服务器日志实时分析 该解决方案帮助您无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档,基于云日志服务 LTS实时采集弹性云服务器 ECS的日志数据,通过函数工作流 FunctionGraph的LTS触发器自动获取日志数据
华为云账号的项目ID。 groupId string 必填 - LTS的日志组ID。 streamId string 必填 - LTS的日志流ID。 accessKey string 必填 - 华为云账号的访问密钥,简称AK。注意:认证用的华为云账号AK、SK硬编码到代码中或者明文
error:插件错误 installing:安装中 install-fail:安装失败 upgrading:升级中 upgrading-transient:升级中 upgrade failed:升级失败 upgrade-fail:升级失败 uninstalling:卸载中 uninstalling-transient:卸载中
时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间;如果日志中的时间格式为:2019-01-01 23:59:59,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss;如果日志中的时间格式为:19-1-1 23:59:59,时间通配符应该填写为:YY-M-D
server-app(用于存储服务器应用的日志) coupon(用于存储应用优惠券的日志) pay(用于存储支付日志) order(用于存储订单日志) 如需要对原始数据进行加工,可以通过创建日志加工任务,详细请参考DSL加工。DSL加工的功能在邀测中,仅支持华北-北京四、华东-上
使用云服务接入LTS 云服务接入LTS概述 应用运维管理AOM接入LTS API网关APIG接入LTS Astro轻应用接入LTS 云堡垒机CBH接入LTS 内容分发网络CDN接入LTS 云防火墙CFW接入LTS 云审计服务CTS接入LTS 分布式缓存服务DCS接入LTS 文档数据库服务DDS接入LTS
启动Flume后,即可开始采集数据库中的表数据到LTS。 使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。