检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS数字折线图 数字图和折线图组合,同时显示趋势和关键数据点。可以帮助用户更好的理解数据和趋势变化,从而更好的进行业务决策。 查看数字折线图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
说明 value 字符串、Unix时间戳或日期时间对象 是 值或时间表达式。 tz String 否 表示时区,默认为None。 返回结果 返回转换后的Unix时间戳。 函数示例 示例1:把time字段的值转换成时间戳,时区是北京。 测试数据 { "time": "2019-06-03
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
日志流中shard发生split或者merge,consumer worker消费的shard也会随之改变。 本地调试配置启动参数。 以下是一个简单的消费示例,我们使用java.util.Properties作为配置工具,所有Consumer的配置都可以在ConfigConstants中找到。
ICAgent:ICAgent是华为云日志服务的日志采集器,通过在主机上安装ICAgent,您可以将日志采集到LTS。安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。 网络互通: 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。
监控安全风险 LTS通过多种方式监控安全风险,保障数据安全可靠。 表1 LTS的监控安全风险 监控安全风险 简要说明 详细介绍 日志告警 LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数
数据类型 是否必填 说明 endpoint String 是 OBS中保存的文件地址。如obs.cn-north-4.huawei.com bucket String 是 OBS中使用的桶名,如lts-dsl。 file String 是 目标OBS文件的路径。例如test/data.txt,不能以正斜线(/)开头。
消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 CheckPoint 消费点位,是消费者消费到的最新位置。程序重启后,SDK会自动通过CheckPoint恢复上次的消费进度。 消费逻辑 一个日志
ICAgent:ICAgent是华为云日志服务的日志采集器,通过在主机上安装ICAgent,您可以将日志采集到LTS。安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。 网络互通: 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。
DemoLogConsumerProcessor struct { } // Initialize 这个方法给您回调返回的ShardId, 是告诉您当前这个shard-consumer在消费那个shard func (processor *DemoLogConsumerProcessor)
Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储,分析等场景。 数据湖探索 DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache
请求Body参数 参数 是否必选 参数类型 描述 query 是 String sql语句字符串。 最小长度:0 最大长度:102400 format 是 String 查询结果格式。当前仅支持:"k-v"。 time_range 是 TimeRange object 时间范围信息。 whether_to_rows
from table. 数据组织形式 管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。示例如下: {"id": 1, "name": "Bob", "job": "java", "age": 21, "sal":
如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。
解析User-Agent中的设备信息。 函数格式 ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
API接入概述 您可以通过调用云日志服务LTS提供的REST风格API将日志上报到LTS,具体有上报日志和上报高精度日志两个接口。 以下是两个接口的适用场景和各区域访问IP: 表1 适用场景 API名称 日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过l
表24 参数说明 参数名称 描述 类型 是否必选 str 原始字符串。 String 是 splitStr 分隔符。 String 是 position 需要返回的字符串的位置。 Integer 是 返回值类型:STRING类型 示例:SELECT SPLIT_PART('helloworld'
场景一:过滤LTS日志 您可以使用e_if函数与DROP参数、e_if_else函数与DROP参数过滤日志,也可以使用e_drop函数或e_keep函数过滤日志。 常用规则如下所示: e_keep(e_has(...)):满足条件时保留,不满足条件时丢弃。 e_drop(e_has(