检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志过滤白名单规则 key长度最大为256,value最大长度为128,key不可以重复 exclude 否 Map<String,String> 日志过滤白名单规则 key长度最大为256,value最大长度为128,key不可以重复 响应参数 状态码: 200 表16 响应Body参数 参数
LTS-Flink-Connector参数说明 云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式
"k2")) 加工结果 data:{"k3": "v3"} 场景五:解析值为JSON对象 您可以使用json_parse函数将字符串解析为JSON对象。 例如,data字段值为字符串,您可以将其转换为JSON对象。 原始日志 { "data": "pre{ \"k1\": \"v1\"
修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 您也可以通过这个视频教程了解AK/SK认证的使用:https://bbs
SQL IP地址函数 功能函数 对于IPv4地址函数,地址参数可以是IPv4点分十进制字符串(例如"192.168.0.1")或表示为整数的IP地址(例如3232235521)。subnet 参数应该是一个字符串,格式为CIDR表示法中的IPv4地址子网(例如"192.168.0
active*test") # active*test中仅包含星号(*),可以不使用双引号("")包裹。 e_search("status: active?good") # active?good中仅包含半角问号(?),可以不使用双引号("")包裹。 e_search("status==
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字
接口调用示例 本节通过调用LTS的API创建日志组。 通过IAM获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。
ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所有URI请求404的错误条数;分析1周内的UV(用户实际单击网站
对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,只需要支付少量的存储费用即可。当您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,
日志搜索:使用关键字查询,获取原始日志内容。您可以通过查询日志接口中的line_num、search_type、limit和is_desc参数实现多种形式的翻页效果。更多信息请参见查询日志。 统计图表:使用SQL对查询结果进行分析,获取统计结果。您可以通过SQL中的LIMIT语法实现分页。更多信息请参见SQL查询语法概述。
数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03 02-41-26。 Unix时间戳,例如1559500886。
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
日志上报LTS后,支持通过SQL分析语法搜索关键日志数据,并将查询结果通过统计图表的方式进行可视化展示,帮助用户更容易地理解日志数据之间的变化。用户还可以将图表分析结果保存到仪表盘,进行长期监控。 限制说明 目前此功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、
已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考结构化配置。 限制条件 最多可创建20个定时SQL任务。 创建定时SQL 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>定时SQL”,单击“创建定时SQL” 。 或在左侧导航栏中选择“日志管理 ”,单击日志组或日志流名称,进入
在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法使用最新功能。您可以在SDK中心查询版本信息。 表1提供了LTS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 其中Java和Go语言的SDK,请
组合自定义正则表达式和默认字符集过滤 完全自定义 自定义 自定义 大部分键值对的提取使用e_kv函数并配置特定参数就可以很好地满足,尤其是带括字符和反斜杠需要提取并转义时。其他复杂或高级的场景可以用e_regex函数来提取。部分特定场景下的键值对使用e_kv_delimit函数会更简单。 关键字提取
只支持输入英文、数字、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段
Service,简称DIS) 通过AOM服务,可以进行站点访问统计,可以将相关日志上报给AOM,对其进行监控与告警。 应用运维管理(Application Operations Management,简称AOM) 通过IAM服务,您可以给账号中的子用户授予使用云日志服务的权限。 统一身份认证服务(Identity
格式化字符串。 to_utf8函数 将字符串转换为UTF-8编码格式。 chr函数 将ascii值转换成字符。 concat函数 用于将多个参数拼接成一个字符串。 lpad函数 在字符串的开头填充指定字符,直到指定长度后返回结果字符串。如果未指定填充字符,则使用“ ”进行填充。 语法:lpad(str