检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号、网址、订单号、字符串等场景中,您需要为敏感数据进行脱敏操作。在日志服务数据加工服务中,常见的脱敏方法有正则表达式替
是否支持Log4j插件上报日志到LTS? LTS不支持log4j插件上报日志到LTS,原因如下: 目前Log4j官网已经不再提供Log4j的后期维护,推荐用户使用Log4j2,支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患,所以不再提供Log4j的日志采集能力。
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串,并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split
常见操作 str_strip 删除字符串中指定的字符。 函数格式 str_strip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被修改的原字符串。 chars 任意(自动转为String) 否 字符
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
SQL其他函数 功能描述 SQL提供的函数,还支持一些转换类型和CASE WHEN等逻辑运算,具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezon
ServiceStage容器应用日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage容器应用的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数
对端虚拟机的私有ip进行验证。 图4 查看VPN连接状态 VPN网络连通后,可通过API或SDK上报日志到云日志服务LTS。上报日志前,用户需要提供账号ID给云日志服务的技术支持工程师。 通过调用API上报日志。详细API接口请参考上报日志和上报精度日志。例如通过curl命令模拟调用API接口实现日志上报。
创建日志仪表盘 仪表盘是一种数据可视化工具,它汇总并呈现关键性能指标、重要数据和分析结果,为用户提供了一目了然的业务或系统运行状况概览。 云日志服务提供多种仪表盘模板,用户可以直接使用LTS提供的仪表盘模板展示日志数据,或者将查询分析结果的统计图表同步保存到仪表盘中进行展示。 前提条件
日期时间偏移 处理函数 dt_add函数的参数如下: dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=None
LTS SDK接入错误码 当您使用LTS SDK报错时,请参见表1进行处理。 表1 错误码 状态码 错误码 错误信息 描述 处理措施 参数类错误(LTS.00XX) LTS.0001 %@ is null. 参数%@为空。 请设置非空的参数后重试。 LTS.0002 %@ is invalid
不要重试该请求。 401 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 500 系统内部错误。 503 ServiceUnavailable。被请求的服务无效,服务不可用。 父主题: 使用API接入LTS
正则式函数 本文介绍正则式函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 正则式函数 函数 描述 regexp_extract函数 提取目标字符串中符合正则表达式的子串。 regexp_like函数 判断目标字符串是否符合正则表达式。 regexp_extract_all函数
类型转换函数 本文介绍类型转换函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。
数学计算函数 本文介绍数学计算函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 数学计算函数 函数 描述 round函数 用于对x进行四舍五入。如果n存在,则保留n位小数;如果n不存在,则对x进行四舍五入取整数。 round函数 用于对x进行四舍五入。如果n存在,则保留
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr)
SQL数学函数 功能描述 数学函数为标量函数中的一种,只支持数值类型的字段,能够实现对数值进行取整、取绝对值、求余等功能,具体请参考表1。 在数学运算中,如果表达式里涉及的操作数皆为整数,那么SQL将会采用整数运算,否则便会切换到浮点运算。您可以将其中一个操作数转换为FLOAT类