检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,
查询日志转储 功能介绍 该接口用于查询OBS转储,DIS转储,DMS转储配置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/transfers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,
中间件-IIS日志 Internet Information Services(IIS)是微软公司开发的一种Web服务器软件,也称为互联网信息服务。它是Windows Server的一部分,可以用来为网络上的客户端提供HTML、ASP.NET、PHP等类型的Web应用程序和服务。IIS
删除快速查询 功能介绍 删除快速查询 调用方法 请参见如何调用API。 URI DELETE /v1.0/{project_id}/groups/{group_id}/topics/{topic_id}/search-criterias 表1 路径参数 参数 是否必选 参数类型 描述
日期时间偏移 处理函数 dt_add函数的参数如下: dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=
日志接入概述 日志接入是一个关键的过程,它涉及到收集应用程序或服务在执行过程中生成的各种日志信息,如系统运行状态、错误信息和用户操作记录等。这些信息被存储在特定位置,以便于后续的分析和应用,对于系统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICAgent
创建主机组 功能介绍 创建主机组 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/host-group 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取项目ID,获取账号
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型:
创建日志流索引 功能介绍 该接口用于向指定日志流创建索引。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/groups/{group_id}/stream/{stream_id}/index/config 表1 路径参数 参数 是否必选
云日志服务快应用SDK 云日志服务快应用SDK提供了快应用上报日志的一系列方法,如果您需要收集和分析用户在网站上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、终端设备记录、设备异常记录、网络使用记录等,可以直接使用快应用SDK上报日志到LTS。 传输协议 HTTPS 使用前提
添加快速查询 功能介绍 添加快速查询 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/groups/{group_id}/topics/{topic_id}/search-criterias 表1 路径参数 参数 是否必选 参数类型 描述
事件操作函数 本文介绍事件操作函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep函数在不满足条件时丢弃
监控安全风险 LTS通过多种方式监控安全风险,保障数据安全可靠。 表1 LTS的监控安全风险 监控安全风险 简要说明 详细介绍 日志告警 LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通过在一定时间段内
权限和授权项 如果您需要对您所拥有的LTS进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用LTS的其它功能。 默认情况下
DSL加工概述 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东
在LTS页面无法查询新产生的日志怎么办? 问题现象 在LTS页面无法查询新产生的日志。 对系统的影响 导致用户无法查询业务日志。 可能原因 LTS控制台上的“ICAgent采集开关”被关闭。 ICAgent上报日志到LTS失败。 在LTS控制台设置的采集配置下发到ICAgent有误
中间件-Kafka日志 Kafka的系统日志(也称为应用日志或运行日志)主要记录了Kafka集群在运行过程中产生的各种信息,例如启动和停止信息、配置加载、节点连接和断开、请求处理等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent
创建SQL告警规则 功能介绍 该接口用于创建SQL告警,目前每个账户最多可以创建共200个关键词告警与SQL告警 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/alarms/sql-alarm-rule 表1 路径参数 参数 是否必选
日志告警 日志告警概述 配置日志告警规则 配置日志告警行动规则 查看LTS告警列表