检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例
文档数据库服务DDS接入LTS 支持文档数据库服务DDS日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
云数据库RDS for MySQL接入LTS 支持云数据库RDS for MySQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
云数据库GeminiDB Mongo接入LTS 支持云数据库GeminiDB Mongo日志接入LTS。 具体接入方式请参考日志配置管理。 父主题: 使用云服务接入LTS
数据复制服务DRS接入LTS 支持数据复制服务(DRS)日志接入LTS。配置访问日志后,DRS实例(包含实时迁移、备份迁移、实时同步、实时灾备和录制回放实例)新生成的所有日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理。
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
云数据库RDS for PostgreSQL接入LTS 支持云数据库RDSfor PostgreSQL日志接入LTS。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
log,当配置为1时日志不会被采集,配置>=2时日志会被采集。 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当您的目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。
云数据库RDS for SQLServer接入LTS 支持云数据库RDS for SQLServer日志接入LTS。 具体接入方法请参见日志管理。 父主题: 使用云服务接入LTS
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
应用与数据集成平台ROMA Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题: 使用云服务接入LTS
中,确保日志不丢失,实现数据持久化。 对象存储服务(Object Storage Service,简称OBS) 通过DIS服务,您可以将需要长期存储的日志转储至DIS,DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
解析。 图1 ICAgent结构化解析配置 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log,采集路径配置为:/var/logs/**/a
集进行应用监控。 数据接入服务 DIS 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
查看LTS实时最新日志,每一次加载数据时延是多久? 在LTS控制台查看LTS实时最新日志,正常情况下,每隔5秒加载一次。如果这5秒内没有产生日志,则不显示;5秒后会继续调用接口,刷新出产生的日志数据。即如果每5秒都有日志数据产生,则加载数据时延为5秒。 父主题: 日志搜索与分析