检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用FunctionGraph服务提供的函数模板进行日志加工 云日志服务提供函数加工,您可以基于函数服务提供的函数模板或者自定义函数,实现日志规整、流转、脱敏、过滤等功能。 目前此功能仅支持以下局点,其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四、华东-上海
选择转储所有字段后将转储日志下所有的字段,选择自定义转储字段后将手动配置用户日志字段。 - LTS内置字段和用户自定义Tag 当转储格式选择JSON时,需要设置该参数。 是否开启LTS内置字段和用户自定义Tag。 选择转储所有字段后将转储日志下所有的内置字段和用户自定义字段,选择自定义转储字段后将手动配置LTS内置字段和自定义字段。
S SQL提供了查询日志流中结构化数据的语句, 以下均将 LTS SQL 称为 SQL。 SQL语言由用于处理数据库和数据库对象的命令和函数组成。使用该语言时需遵循有关表达式和文本使用的规则。因此在SQL参考章节,除了SQL语法参考外,还会看到有关表达式、函数和操作符等信息。SQL基本查询语句如下:
企业项目需要开通后才能使用,请参考如何开通企业项目。 日志存储时间(天) 日志组的存储时间,即日志上报到LTS后日志存储的时间。 日志数据默认存储30天,可以在1~365天之间设置。 云日志服务LTS根据配置的日志存储时间定时清理日志内容,例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。
JSON函数用于解析JSON对象或JSON数组,并从中提取值。 语法格式 SELECT json_extract(Results, '$.[0].EndTime') JSON函数语句 表1 JSON函数语句 语句 说明 示例 返回值类型 json_extract 用于从JSON对象或JSON数组中提取一组JSON值(数组或对象)。
若有以下场景,可以选择使用自定义标识主机组: VPC等自定义网络环境中,可能出现不同服务器IP地址冲突的问题,导致日志服务无法管理ICAgent。使用自定义标识可以避免此类情况的发生。 多台服务器通过同一个自定义标识实现主机组弹性伸缩。您只需为新增的服务器配置相同的自定义标识,日志服务可自动识别,并将其添加至主机组中。
支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:自定义策略中授权项定义的内容即为权限。 对应API接口:自定义策略实际调用的API接口。
响应Body参数 参数 参数类型 描述 results Array of StructTemplateModel objects 查询的自定义结构化模板数组 表5 StructTemplateModel 参数 参数类型 描述 project_id String 项目id template_name
日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。 问题:标准存储的日志转换成冷存储的生效周期有多久? 答:1个小时内。 问题:日志存储一段时间
日志转储后,LTS会删除转储的日志内容吗? 日志转储功能只能转发已有日志,不会删除日志内容。云日志服务LTS会根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列
存储在LTS的日志是否可以用于安全合规审计? 存储在云日志服务LTS的日志可以用于安全合规审计。日志上报到LTS后,LTS不支持修改日志,防止日志被篡改。因此,用户可以将日志长期存储在LTS,随时查询用于安全合规审计场景。 如果使用日志组的日志存储时间,请参考管理日志组修改日志存
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
图引擎服务GES接入LTS 支持图引擎服务GES日志接入LTS。 具体接入方法请参见自定义创建图。 父主题: 使用云服务接入LTS
云日志服务的计费依据为日志使用量,包括日志读写、日志索引和日志存储。超过免费额度后,如果关闭日志采集开关,将无法再进行日志读写和索引,同时也不再产生日志读写和索引费用。关闭日志采集开关后,超额部分的日志继续存储在LTS,LTS收取日志存储费用,系统将根据配置的日志存储时间老化日志,日志老化后将不再产生任何费用。
云日志服务LTS提供冷存储和标准存储功能。冷存储费用低,响应速度慢,对长期存储的数据进行冷存储。 在日志流创建或修改页面,开启智能冷存储功能,将标准存储层数据转为冷存储。 在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开
/check"} 读写流量、索引流量、存储流量变化说明: ICAgent结构化解析功能商用以后恢复对云端结构化解析所有字段的存储、索引及读写流量的收费。 ICAgent结构化解析商用前:LTS服务端支持原始日志content及其结构化字段的存储及搜索等能力,但是免去了结构化字段,即
DSL加工概述 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、
语法:approx_distinct(x) 估算x中不重复值的个数,支持自定义标准误差 语法:approx_distinct(x, e) 表2 参数说明 参数名称 描述 类型 是否必选 x 原始字段 任意 是 e 自定义标准误差 double类型,取值为[0.0115, 0.26] 否 返回值类型:bigint类型
6MB/s),日志平均存储7天,7天原始日志总量为7TB,日志存储方式为一主一副本。根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储7TB原始日志,至少需要准备7TB*2
分析、运营与客服系统等。 日志监控与告警:支持对存储在云日志服务中的日志数据进行关键词统计,通过在一定时间段内日志中关键字出现次数,实时监控服务运行状态。 日志转储:日志转储基于复制的转储机制,将需要长期存储的日志数据转储至对象存储服务(OBS)、数据接入服务(DIS)或分布式消