检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然
进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value)
查看LTS实时日志 日志接入云日志服务后,每隔大约1分钟上报一次。因此,在实时日志页面,您最多需要等待1分钟左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时,LTS会清空前500KB的日志,保留最新的500KB日志。 若
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
常见操作 str_strip 删除字符串中指定的字符。 函数格式 str_strip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被修改的原字符串。 chars 任意(自动转为String) 否 字符
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
SQL其他函数 功能描述 SQL提供的函数,还支持一些转换类型和CASE WHEN等逻辑运算,具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezon
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串,并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split
示例4:查询指定日志组下的所有日志流 场景描述 本章以查询指定日志组下的所有日志流信息为例。 涉及其它云服务接口 无。 查询日志流 接口相关信息 URI格式:GET /v2/{project_id}/groups/{log_group_id}/streams 请求示例 GET h
使用端侧SDK日志上报,如何配置权限认证? 云日志服务LTS提供了iOS SDK、Android SDK、Web SDK、小程序SDK、快应用SDK等移动端上报日志到LTS,本文介绍不同场景下如何配置权限认证。 使用iOS SDK、Android SDK上报日志到LTS 使用iOS
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。
LTS搜索语法介绍 云日志服务LTS提供一套搜索语法用于设置搜索条件,帮助您更有效地搜索日志。 查询语句用来指定日志查询时的过滤规则,返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数
正则表达式函数 本文介绍正则表达式函数的语法规则,包括参数解释、函数示例等。 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。 regex_findall 根据正则表达式获得符合条件的所有值列表。 匹配判断 regex_match 判断是否匹配正则表达式。
SQL最值函数 功能描述 SQL提供最值函数,对字段进行最值求解,具体请参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。
创建仪表盘分组 功能介绍 创建仪表盘分组 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/dashboard-group 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见
统计top n的日志组或日志流流量 功能介绍 统计top n的日志组或日志流流量 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/topn-traffic-statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id