检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
将自建ELK日志导入云日志服务LTS 方案概述 ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash
listKeywordsRequestsbody, KeywordsAlarmRuleDescription: &keywordsAlarmRuleDescriptionUpdateKeywordsAlarmRuleRequestBody, AlarmRuleAlias
().CRITICAL, Frequency: frequencybody, KeywordsRequests: listKeywordsRequestsbody, KeywordsAlarmRuleDescription: &keywordsAlarmRuleDescriptionCreateKeywordsAlarmRuleRequestBody
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 keywords_alarm_rules Array of KeywordsAlarmRuleRespList objects 项目id 表4 KeywordsAlarmRuleRespList 参数 参数类型
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,
应用与数据集成平台ROMA Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题: 使用云服务接入LTS
默认内置消息模板分别为关键词模板、keywords_template、sql模板和sql_template。不同协议的订阅者优先选择模板名称对应的协议模板,如果对应的协议模板不存在,则采用内置的消息模板。
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果内容较多
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
否 否 POSTGRESQL错误日志 根据POSTGRESQL错误日志资料中提供的日志字段被定义。 否 否 SQLSERVER错误日志 根据SQLSERVER资料中提供的日志字段被定义。
否 否 POSTGRESQL错误日志 根据POSTGRESQL错误日志资料中提供的日志字段被定义。 否 否 SQLSERVER错误日志 根据SQLSERVER资料中提供的日志字段被定义。
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
{"query":{"match_all":{}}}\n shards 慢查询涉及的分片信息数组。 - index 分片所在的索引名称。 my_index shard 分片的ID。 0 search_type 查询类型。
{region}.myhuaweicloud.com cacheThreshold Long 选填 200条 当本地数据库日志存储条数达到该值会触发上报,取值范围为30-1000条。
查看LTS实时最新日志,每一次加载数据时延是多久? 在LTS控制台查看LTS实时最新日志,正常情况下,每隔5秒加载一次。如果这5秒内没有产生日志,则不显示;5秒后会继续调用接口,刷新出产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。 父主题: 日志搜索与分析
is_desc 否 Boolean 顺序或者倒序查询, 默认为false(顺序查询) search_type 否 String 首次查询为 “init”, 分页查询时为 “forwards”或者“backwards”, 默认为首次查询“init”, 与 is_desc 参数配合进行分页查询
report(content, labels)上报日志,先存入本地数据库,根据配置中设定的策略实施上报。 reportImmediately(content, labels)立即上报日志。
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映射函数使用文本完全匹配方式来映射