检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: 主要日志(cluster-name.log,
采集Syslog汇聚服务器日志到LTS 背景信息 Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生
用户源日志流数据进行加工输出到目标日志流中,主要操作流程如下: 通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后,您可以在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。
自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段索引,同时会打开快速分析按钮。开启该按钮后,默认将内置字段hostIP、hostName
自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 开启“自动配置索引和快速分析”开关,将使用结构化字段配置字段索引,同时会打开快速分析按钮。开启该按钮后,默认将内置字段hostIP、hostName
round函数 用于对x进行四舍五入。如果n存在,则保留n位小数;如果n不存在,则对x进行四舍五入取整数。 round函数 用于对x进行四舍五入。如果n存在,则保留n位小数;如果n不存在,则对x进行四舍五入取整数。 对x进行四舍五入取整数。 语法:ROUND(x) 对x进行四舍五入且保留n位小数。
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么到第11天时,第1天的日志会存储到
使用云端结构化解析日志后读写流量、索引流量、存储流量变化说明如下: LTS结构化能力说明: 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段,在资源统计和计费时content字段和结构化字段都会统计在内。云端结构化
户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 请参考如何获取访问密钥AK/SK。 说明: 请确保公共用户账号及其创建的AK/SK不会被删除或禁用。AK/SK被删除,会导致安装的ICAgent无法正常上报数据到LTS。 选择“创建IA
数学函数为标量函数中的一种,只支持数值类型的字段,能够实现对数值进行取整、取绝对值、求余等功能,具体请参考表1。 在数学运算中,如果表达式里涉及的操作数皆为整数,那么SQL将会采用整数运算,否则便会切换到浮点运算。您可以将其中一个操作数转换为FLOAT类型来强制进行切换,运行时SQL会将大多数表达式中的32位浮点数扩展到64位。
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
云日志服务的计费依据为日志使用量,包括日志读写、日志索引和日志存储。超过免费额度后,如果关闭日志采集开关,将无法再进行日志读写和索引,同时也不再产生日志读写和索引费用。关闭日志采集开关后,超额部分的日志继续存储在LTS,LTS收取日志存储费用,系统将根据配置的日志存储时间老化日志,日志老化后将不再产生任何费用。 云日
可查看程序的运行日志,便于问题定位。同时,AstroZero支持将日志采集到云日志服务(Log Tank Service,简称LTS),提供更强大的日志收集、分析、存储等服务。用户通过云日志服务,可快速高效地进行用户业务趋势分析、安全监控审计等操作。 具体接入方法请参见查看运行日志。
如您有更大的使用需求,请提交工单申请。 数据量 单个日志流单次最大分析24GB数据。 如果您的数据量远超LTS提供的分析规格,请您购买DWS服务,配置日志转储DWS,使用数据仓库分析。 开启模式 默认不开启。 不涉及。 数据生效机制 日志结构化只对新增结构化配置之后写入的数据生效。 不涉及。 返回结果
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
不需要额外操作。 将解压后的xcframework静态库添加到您的项目工程中。 待导入的xcframework静态库必须和工作空间在相同的磁盘空间里,如果不在,您可以选择注意勾选“Copy items if needed”和“Create groups”,将待导入的xcframework库工程文件复制到工作空间。
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数
String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。 JSON:将原始值转化为JSON格式。如果转换失败则返回default参数的值。 raw:返回原始值。 返回结果 根据参数配置,返回JSON格式数据或者原始值。 表1
168.0.1 tag: stu id: 7990 content: this is a log } 父主题: 使用DSL加工函数清洗LTS日志数据
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]