检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
计算当前1小时和昨天同时段的访问量比值。 选择查询和分析的时间范围为1小时(整点时间),并执行如下查询和分析语句。其中86400表示当前时间减去86400秒(1天)。 SELECT compare(PV, 86400) FROM (SELECT count(*) AS PV ) 查询和分析结果。 图1 查询和分析结果
计算当前1小时和昨天同时段的访问量比值。 选择查询和分析的时间范围为1小时(整点时间),并执行如下查询和分析语句。其中86400表示当前时间减去86400秒(1天)。 SELECT compare(PV, 86400) FROM (SELECT count(*) AS PV ) 查询和分析结果 图1 查询和分析结果
x:0.5 查询和分析语句 select ACOS(x) 查询和分析结果 表2 查询和分析结果 x EXPR$1 0.5 1.0471975511965979 ATAN(expr)函数 ATAN求参数值的反正切,y= arctanx,x的取值范围R。 字段样例 x:0.5 查询和分析语句
Id:dc1dab7e-b045-4e77-bda4-914d083d1bf7 查询和分析语句 SELECT split(Id,'-'), split(Id,'-',2) 查询和分析结果 表1 split函数查询和分析结果 EXPR$0 EXPR$1 ["dc1dab7e","b045"
返回值类型:String类型 示例:SELECT REGEXP_EXTRACT('HTTP/2.0', '\d+') 表3 查询分析结果 类型 场景1 场景2 查询语句 REGEXP_EXTRACT('HTTP/2.0', '\d+') REGEXP_EXTRACT ('HTTP/2
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs
主机组管理 查询主机信息 查询主机组 创建主机组 删除主机组 修改主机组 父主题: API说明
日志流管理 创建日志流 查询指定日志组下的所有日志流 查询日志流信息 删除日志流 修改日志流 创建日志流索引 父主题: API说明
AOM容器日志接入LTS 创建接入规则 修改接入规则 删除接入规则 查询所有接入规则 查询单个接入规则 父主题: API说明
如您有更大的使用需求,请提工单申请。 日志写入次数 您在1个华为账号下,写入次数最大为10000次/s。 如您有更大的使用需求,请提工单申请。 日志查询流量 您在1个华为账号下,通过API查询日志,单次返回日志最大为10MB。 如您有更大的使用需求,请提工单申请。 日志读取次数 您在1个华为账号下,读取次数最大为1000次/min。
消息模板管理 创建消息模板 修改消息模板 查询消息模板列表 删除消息模板 查询单个消息模板 预览消息模板邮件格式 父主题: API说明
应用示例 示例1:创建日志组 示例2:查询账号下所有日志组 示例3:创建日志流 示例4:查询指定日志组下的所有日志流 示例5:创建OBS转储
是整数而不是字符串,则此函数具有更高的执行效率。 字段样例 Ipv4: 192.168.1.18 查询和分析语句 select IPV4,IPV4_MATCH(Ipv4, '192.168.0.0/16') 查询和分析结果 表1 查询和分析结果 IPV4 EXPR$1 192.168.1.18 true
e/Level/Message。 在日志流详情页面,单击“日志分析”页签,进行SQL查询与分析,如需要多样化呈现查询结果,请参考日志结构化进行配置。 统计最近7天内错误类型的分布,具体SQL查询分析语句如下所示: SELECT Level, count(*) as Number
SQL分析语法介绍 SQL查询语法概述 SQL聚合函数 SQL同比和环比函数 SQL JSON函数 SQL IP函数 SQL数学函数 SQL时间函数 SQL最值函数 SQL字符串函数 SQL SPLIT函数 SQL比较运算符 SQL IP地址函数 SQL归约函数 SQL其他函数 SQL
通过LTS仪表盘可视化ELB日志分析结果 在LTS页面分析华为云WAF日志 在LTS页面分析Log4j格式的应用运行日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式
字段样例 Num: 11785730 查询和分析语句 select Num,GREATEST( "Num"/10,(select count(1)) ),LEAST("Num"/10,(select count(1))) 查询和分析结果 表1 归约函数查询和分析结果 Num EXPR$1
对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,支持百亿日志秒级搜索,千亿日志迭代搜索。 SQL统计和可视化图表 LTS提供多种开箱即用的日志仪表盘模板,用户接入日志后即可快速分析。 将日志分析的结果使用可视化图表呈现出来,支持表格、折线图、饼图、柱状图、地图等统计图
存储在云日志服务LTS的日志可以用于安全合规审计。日志上报到LTS后,LTS不支持修改日志,防止日志被篡改。因此,用户可以将日志长期存储在LTS,随时查询用于安全合规审计场景。 如果使用日志组的日志存储时间,请参考管理日志组修改日志存储时间;如果使用日志流的日志存储时间,请参考管理日志流修改日志存储时间。