检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下示例仅供参考,请以实际信息填写为准。 首次使用python,需要安装python环境。 首次使用ES时需要安装对应ES版本的python数据包,本次方案测试使用的elasticsearch为7.10.1版本。
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考日志结构化概述
策略规则用于定义本端子网到对端子网之间具体进入VPN连接加密隧道的数据流信息,由源网段与目的网段来定义。源网段必须包含部分本端子网;目的网段必须完全包含对端子网。 配置完成后,在“企业版-VPN连接”页面,VPN连接显示连接成功。
背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映射函数使用文本完全匹配方式来映射。
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
访问日志(access_log):访问日志记录了客户端访问Nginx服务器的详细信息。通过访问日志,您可以了解到用户的IP地址、访问的URL、访问时间、请求的处理时间、HTTP响应状态码、请求的头部信息等。
org.apache.flink.runtime.taskmanager.Task 任务/作业信息 日志中可能包含任务或作业的相关信息,如任务名称、任务ID、作业ID等。
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时
函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
系统日志(System Logs): ZooKeeper的系统日志(也称为运行日志或应用日志)通常记录了ZooKeeper集群在运行过程中产生的各种信息,包括但不限于启动和停止信息、配置加载、节点连接和断开、请求处理、选举过程等。
版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用我们的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志服务移动端日志采集SDK开发者合规指南。
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetimestamp
特定结构化数据函数 本文介绍特定结构化数据函数的语法规则,包括参数解释、函数示例等。 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成
配置日志的基本信息。 填写规则名称,最多256位,只能包含字母、数字、下划线、中划线。 填写描述信息。 启用状态默认打开。
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
在LTS页面完成ICAgent安装后显示离线怎么办? 在LTS页面完成ICAgent安装后显示离线,请按如下步骤检查: 检查ICAgent网络连接是否正常。 登录ICAgent所在的主机。 执行netstat -nap | grep icagent,检查ICAgent进程网络连接状态为
关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理用户指南》。
步骤5:完成接入配置 接入成功后会生成一条接入配置信息。 单击接入配置名称可进入详情页面,查看该接入配置详细信息。 单击接入配置操作列的“修改”重新修改接入配置信息。 单击接入配置操作列的“标签管理”即可添加标签。