检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型
比较运算符用于比较两个值,并返回真(true)或假(false)。比较运算符可以对数值类型进行大小比较,对STRING类型进行包含比较,比如数值类型的字段num1 < num2是否为真,STRING类型的str1是否存在于字符串strs中等,具体请参见表1。 语法格式 SELECT
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Gra
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana。
whereExpr)的语法在聚合之前进行过滤,即聚合函数只会聚合满足过滤条件的列。 在同一个SQL查询语句中,根据过滤条件的不同,对应的聚合函数所呈现的结果会不同。 只有COUNT函数可以跟DISTINCT搭配使用。 聚合操作没有固定的执行顺序。如果在执行具有多个聚合函数的SQL语句查询
云审计服务(Cloud Trace Service,CTS)可以记录LTS相关的操作事件,便于日后的查询、审计和回溯。 开通了云审计服务后,系统开始记录LTS资源的操作。云审计服务管理控制台保存最近7天的操作记录。 开通云审计服务 云审计服务的开通请参见开通云审计服务。 开通云审计服务后,如
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana。
LTS使用价格计算器,计算出来月成本约为107655元,使用LTS的成本约为自建ELK成本的28.8%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。 总结 云日志服务LTS在功能、性能、成本方面对比ELK都有明显的优势,推荐您使用全托管式的云日志服务替代自建ELK。 父主题:
单跳板机可能发生单点故障带来运维的不稳定性,此时可以创建多个跳板机并通过ELB负载均衡将流量分摊到不同的跳板机上,提高接入的可靠性。 创建Linux操作系统的ECS弹性云服务器作为跳板机。 登录弹性云服务器控制台,创建一个Linux操作系统的ECS。创建ECS的具体步骤,请参考购买弹性云
ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,是将复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的系统,并以一系列简单易用的原子操作提供给用户使用。ZooKeeper的主要功能包括配置维护、域名服务、分布式同步、组服务等。它提供了一个分布式独享锁、选举、队列的接口,主
接口调用示例 本节通过调用LTS的API创建日志组。 通过IAM获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。
AAD接入LTS 支持DDoS防护 AAD日志接入LTS。启用Anti-DDoS防护功能后,您可以将攻击日志记录到云日志服务(Log Tank Service,简称LTS)中,通过LTS记录的Anti-DDoS日志数据,快速高效地进行实时决策分析、设备运维管理以及业务趋势分析。 具体
Gateway)提供高性能、高可用、高安全的API托管服务,能快速将企业服务能力包装成标准API服务,帮助您轻松构建、管理和部署任意规模的API,并上架API云商店进行售卖。借助API网关,可以简单、快速、低成本、低风险地实现内部系统集成、业务能力开放及业务能力变现。API网关帮助您变现服务能力的同时,降低企
日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetimestamp智能转换函数,可以将日期时间对象或日期时间字符串转换为Unix时间戳。
通过日志流标签统计不同部门在LTS的费用开销 本实践主要介绍为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。 日志加工 日志加工(邀测) 本实践主要介绍使用DSL加工函数实现日志数据清洗
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana。Grafana版本要求使用9
开启后,显示待对比字段对应的值。 对比值格式化 将待对比数据按照指定格式进行显示。 对比值字号 待对比值的字号,取值范围为12px~50px。 对比值单位 待对比值的单位。 对比值单位字号 显示待对比值单位的字号,取值范围为12px~50px。 描述 对显示的数值及对比值趋势的描述,显示在数值下方。
Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。