检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用SDK-API消费日志(邀测) 云日志服务LTS提供SDK-API消费日志接口,用户可以通过调用SDK提供的基础API来消费日志。 目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
概述 本文介绍字符串函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。 str_join 通过连接符将输入的字符串连接生成一个新的字符串。 str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串。
聚合函数 本文介绍聚合函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列,返回处于percentage位置的数值。 arbitrary函数
窗口函数 本文介绍窗口函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法: ntile(n) over ( [partition
在LTS页面分析华为云WAF日志 方案概述 WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力,同时通过消除单点故障提升应用系统的可用性,支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录,包括请求时间、客户端IP地址、请求路径和服务器响应等。 ELB
el进行统计分析。 以下提到的价格仅为示例,实际计算请以价格计算器中的价格为准。 通过日志流标签统计不同部门在LTS的费用开销 登录云日志服务控制台。 在“日志管理”页面,将鼠标悬浮在aa部门创建的日志组“标签”列单击。 在弹出的编辑标签页面,单击“添加标签”,填写aa部门的标签
进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value)
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Flink日志示例以及字段含义 系统日志示例: 2023-10-23 14:35:00,000
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
常见操作 str_strip 删除字符串中指定的字符。 函数格式 str_strip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被修改的原字符串。 chars 任意(自动转为String) 否 字符
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
SQL其他函数 功能描述 SQL提供的函数,还支持一些转换类型和CASE WHEN等逻辑运算,具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezon
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串,并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split
el进行统计分析。 以下提到的价格仅为示例,实际计算请以价格计算器中的价格为准。 通过日志流标签统计不同部门在LTS的费用开销 登录云日志服务控制台。 在“日志管理”页面,将鼠标悬浮在aa部门创建的日志组“标签”列单击。 在弹出的编辑标签页面,单击“添加标签”,填写aa部门的标签
是否支持Log4j插件上报日志到LTS? LTS不支持log4j插件上报日志到LTS,原因如下: 目前Log4j官网已经不再提供Log4j的后期维护,推荐用户使用Log4j2,支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患,所以不再提供Log4j的日志采集能力。