检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
已采集ER流量日志,详情请参见企业路由器ER接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 ER流量日志中心 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“ER仪表盘模板 > ER流量日志中心”,查看图表详情。 过滤实例ID图,所关联的查询分析语句如下所示:
一个字段名或者多个字段名的列表。多个字段时: 依次对匹配到的值进行映射。 如果匹配命中多条日志,且mode的取值为overwrite时,则最后一个会覆盖前面的结果。 当没有匹配到任何字段,则使用missing参数的值作为匹配值。 output_field String 是 输出字段的名称。 case_insensitive
LTS配置日志接入后多久有日志? 在云日志服务LTS控制台配置日志接入后,选择“日志管理”页面,单击对应日志组进入日志详情页面,查看对应日志流的“实时日志” 页面,如果查看到实时日志即代表日志接入成功。 等待1~5分钟,即可在LTS页面查看到上报的原始日志。 父主题: 日志接入
前提条件 日志已接入云日志服务(LTS)。 日志流已配置结构化规则。 购买独享型且规格为网络型的弹性负载均衡(ELB)实例。 创建GaussDB(DWS)存算一体集群,并且绑定弹性负载均衡(ELB)。 暂不支持DWS集群跨VPC绑定弹性负载均衡(ELB)。 日志转储至DWS 登录云日志服务控制台,在左侧导航栏中选择“日志转储
在下拉框单击编辑版面,进入版面设置页面,版面列表自带默认版面、纯净版面、容器日志默认版面,可以设置字段在版面是否显示。 云端:适用于有写权限的用户,版面配置信息保存在云端。 本地缓存:适用于只有读权限的用户,版面配置信息缓存在本地浏览器。 单击新增自定义版面,设置版面名称和版面字段的可见性。 设置完成后,单击“确定”,返回下拉框显示新增的自定义版面。
安全的退出 // 如果消费者突然关闭, 没有调用shutdown方法; 或者调用shutdown方法之后, 没有等待一定的时间. 那么可能造成下次消费时, 会有一定的重复数据, 因为消费者后台的异步任务没有保存checkPoint点 Thread.sleep(60
digits)对expr值进行四舍五入,保留小数位数由digits指定。expr可以是整数或浮点数,但digits必须是整数。返回值的类型由expr的类型决定。如果没有指定digits,则使用默认值0。如果digits是负数,则返回expr四舍五入后的整数。当expr是非数字值时,会被转换为数字0。如果e
索引,不支持查询该字段 可能原因:用户没有配置字段索引。 解决方法:请您在索引配置中创建XXX字段的字段索引,重新执行查询语句。详细请参考配置索引。 查询日志时报错提示:未开启全文索引,不支持查询content字段和全文查询 可能原因:用户没有开启全文索引。 解决方法:请您在索引
串中,则返回0。 substr函数 使用起始位置和长度返回子字符串。如果没有长度参数,则返回从起始位置开始的整个字符串,同substring。 substring函数 使用起始位置和长度返回子字符串。如果没有长度参数,则返回从起始位置开始的整个字符串。 length函数 如果字符
式与采集阿里云主机日志的方式类似。 日志接入 采集Syslog汇聚服务器日志到LTS 本实践主要介绍通过Syslog协议将日志上传到日志服务的操作步骤。您需要购买ECS作为Syslog汇聚服务器,Linux服务器默认自带Syslog,目前华为云主机默认未配置接收远程Syslog写入,需要手动开启。
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下: 方案 关键字提取 值提取
下: 目前Log4j官网已经不再提供Log4j的后期维护,推荐用户使用Log4j2,支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患,所以不再提供Log4j的日志采集能力。 父主题: 日志接入
说明: content为日志原文对应的内置字段,搜索语句GET等同于content:GET,默认匹配日志原文的内容。 多个关键词默认通过AND连接,搜索语句GET POST等同于GET and POST。 GET POST GET and POST content:GET and content:POST
INNER JOIN 两个表的结果(elb1,elb2)交集数据 示例 有两个表,access表示主机的接入指标包含路径,时延,状态码,host为主机指标包含cpu和内存。通过JOIN可以关联接入和主机指标,查看相同主机的不同维度的指标情况。 LEFT JOIN 查询语句 SELECT "access"
化等加工处理后,可以融合大数据平台、BI工具进行业务分析,例如获取页面的PV、UV、用户停留时间、交易金额等,用于了解业务运营状况、分析用户行为特征,基于实时的数据分析反馈调整业务决策,提升用户体验,提升经营效率,实现企业的数字化转型。 在业务分析过程中经常遇到如下痛点: 移动端
告警详情,实时监控服务运行状态。或者通过告警行动规则将上报告警以短信,手机,邮件等多种形式发送告警通知,方便用户及时处理告警问题。 功能优势 易于开始,便于复制。 日志接入LTS后,即可创建告警规则和通知策略,支持实时接收潜在的告警事件并响应。 高可用性与可靠性。 依托于LTS的
structurization deleteStructurization 添加kafka实例 dmsKafka registerKafkaInfo 修改kafka实例 dmsKafka updateKafkaInfo 删除kafka实例 dmsKafka deleteKafkaInfo 创建dis转储
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,
00:00:00~2021-01-02 01:00:00)的网站访问量。 6000.0表示昨天同时段(例如2021-01-01 00:00:00~2021-01-01 01:00:00)的网站访问量。 0.999表示当前1小时与昨天同时段的网站访问量比值。 分列显示查询和分析结果。 SELECT