检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_sw
拆分成多个词。您可以指定关键字(字段名、字段值)和查询规则进行查询。 hello and world表示查询同时包含关键字hello和world的日志。 字段查询 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询。根据字段索引中设置的数据类型,您可以进行多种类型的基础查询和组合查询。
SELECT visitCount WHERE visitCount > 0 GROUP BY 指定作为分组依据的结构化字段,支持根据单字段或多字段分组。具体的结构化字段列表可填入col_name_list处。 SELECT host, count(*) AS pv WHERE visitCount
SQL提供最值函数,对字段进行最值求解,具体请参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如
Docker输出 数据库 MySQL GaussDB for MySQL接入LTS 云数据库RDS for MySQL接入LTS SQL Server 云数据库RDS for SQLServer接入LTS PostgreSQL 云数据库RDS for PostgreSQL接入LTS 云数据库
根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根据POSTGRESQL错误日志资料中提供的日志字段被定义。
根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根据POSTGRESQL错误日志资料中提供的日志字段被定义。
对日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 日志结构化后字段名称与系统SQL内置保留字段名称相同,或者字段名称中带有中划线、下划线、小数点这三种特殊字符时,SQL查询需要加英文双引号。系统SQL内置保留字段名称包括:"time"、"select"、"where"等。 分析日志
单击进入该时间段的日志详情页,查看更多日志信息。 在“扩展字段”页签,查看字段名称、字段值,在对应字段操作列,支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。 在“json格式”页签,查看日志的json格式。 在“上下文日志”页签,支持设置查询行数、过滤字段、下载日志、简洁模式等操作。
作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。 语法格式 SELECT (fieldname1 || fieldname2) AS fieldname1_fieldname2
解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None, 'family': 'Other', 'model': None},则brand字段和model字段将被剔除,最终的解析结果为{'family': 'Other'}。
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
径,仅供参考,请以实际安装路径为准)。 添加MySQL驱动到FLUME_HOME/lib目录下: 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
径,仅供参考,请以实际安装路径为准)。 添加MySQL驱动到FLUME_HOME/lib目录下: 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。 add
json_extract_scalar(x,json_path) varchar类型 示例及说明 json_extract函数 获取Results字段中EndTime字段的值。 字段样例 Results:[{"EndTime":1626314520},{"FireResult":2}] 查询和分析语句 SELECT
和其他函数组合使用。 e_match_any 判断当前日志字段的值是否满足正则表达式,任意字段匹配返回true,否则返回false。 e_match_all 判断当前日志字段的值是否满足正则表达式,所有字段匹配返回true,否则返回false。 同时,事件检查函数可以与如下表达式函数配合使用:
DDS仪表盘模板 文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。
LTS结构化能力说明: 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段,在资源统计和计费时content字段和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。