检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetimestamp
{region}.myhuaweicloud.com cacheThreshold Long 选填 200条 当本地数据库日志存储条数达到该值会触发上报,取值范围为30-1000条。
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主机
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB(DWS)日志接入LTS。 具体接入方法请参见集群日志管理。 父主题: 使用云服务接入LTS
数据复制服务DRS接入LTS 支持数据复制服务(DRS)日志接入LTS。配置访问日志后,DRS实例(包含实时迁移、备份迁移、实时同步、实时灾备和录制回放实例)新生成的所有日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
应用与数据集成平台ROMA Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题: 使用云服务接入LTS
LTS表格 表格作为最常见的数据展示类型,是组织整理数据最基本的手段,通过对数据的整理,达到快速引用和分析的目的。通过查询分析语法得到的数据结果默认以表格方式进行展示。 查看表格 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流
将自建ELK日志导入云日志服务LTS 方案概述 ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日志
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time
LTS数字折线图 数字图和折线图组合,同时显示趋势和关键数据点。可以帮助用户更好的理解数据和趋势变化,从而更好的进行业务决策。 查看数字折线图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
日志搜索与分析概述 日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置