检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。 否 否 VPC模板 根据VPC资料中提供的日志字段被定义。 否 否 CTS模板 字段名称为json日志中的key。
全量采集:ICAgent采集新文件时,从文件的开头开始读。 自定义元数据 关闭“自定义元数据”,使用ICAgent系统默认配置的字段上报到LTS,不需要用户配置且ICAgent系统不支持配置。 开启“自定义元数据”,根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段:勾选需要设置的内置字段。
需求,用于运维和运营分析。 LTS提供40多种开箱即用仪表盘模板、预置样例数据,配置丰富,简单易用,降低使用门槛,减少用户重复开发。其他云服务日志只要接入LTS即可直接使用仪表盘模板,帮助企业基于日志数据进行数字化运营,助力企业数字化转型。 表1 可视化方式 可视化方式 说明 统计图表
志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。 支持对前100000条日志进行分析。 快速分析的目的是快速返回字段值的分布情况和变化趋势,并没有对全量数据进行分析,是一种采样结果。 支持通过查询时间和查询条件过滤日志进行分析。
index_traffic Double 索引流量,byte, 查询数据类型中包含index时返回 storage Double 存储量,byte, 查询数据类型中包含storage时返回 write_traffic Double 写入流量,byte, 查询数据类型中包含write时返回 log_group_id
查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。 支持对前100000条日志进行分析。 快速分析的目的是快速返回字段值的分布情况和变化趋势,并没有对全量数据进行分析,是一种采样结果。 支持通过查询时间和查询条件过滤日志进行分析。
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合,参数都被解释为字符串。
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被检测的字符串。 返回结果 true/false。 函数示例 测试数据 { "value": "ltsv5" } 加工规则 e_set("str_isalnum", str_isalnum(v("value")))
min。 非硬性限制,超过限制不保证服务质量。 日志流 日志写入流量 您在1个日志流下,写入流量最大为100MB/s。 非硬性限制,超过限制不保证服务质量。 日志写入次数 您在1个日志流下,写入次数最大为500次/s。 非硬性限制,超过限制不保证服务质量。 日志查询流量 您在1个
如何从第三方云厂商将日志搬迁到华为云LTS? 若用户是在第三方云厂商使用日志服务,有大量数据在第三方云厂商对象存储上,希望将日志搬迁到华为云,对于不同的日志类型,请参考如下方法: 热日志(用于搜索分析):典型保存7-14天,用于应用运维,该日志不需要搬迁到华为云。用户在华为云直接
稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其
最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如果字段中既有数字也有字符串,则函数将它们作为字符串进行比较。
oS防护功能后,您可以将攻击日志记录到云日志服务(Log Tank Service,简称LTS)中,通过LTS记录的Anti-DDoS日志数据,快速高效地进行实时决策分析、设备运维管理以及业务趋势分析。 具体接入方法请参见配置Anti-DDoS日志。 父主题: 使用云服务接入LTS
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包
获取字典关键字列表。 函数格式 dct_keys(dict) 参数说明 参数名称 数据类型 是否必填 说明 dict dict 是 字典数据。 返回结果 返回获取的字典关键词列表。 函数示例 测试数据 { "ctx": "{\"k1\":\"v1\",\"k2\":\"v2\"}"
String 错误描述 最小长度:1 最大长度:1000 请求示例 查询主机信息,根据传入的Body体进行过滤。若是body体中无过滤参数,则查询全量数据。 POST https://{endpoint}/v3/{project_id}/lts/host-list { "host_id_list"
用等多类端侧日志无法快速采集。 数据传输不可靠:移动端日志数据量多且频繁,传输速度慢,也极易出现丢失,对业务分析造成一定影响。 数据处理不方便:原始数据不方便处理,不方便快速与大数据平台实现对接。 云日志服务LTS支持采集多种移动端日志,融合大数据完成业务运营分析,基于LTS可以实现:
system_fields Array of strings 系统内置字段:配置日志接入规则时,可以配置系统内置字段,上报日志后,每条日志数据的标签数据中将会有系统字段 采集场景为主机文件的内置字段为:hostName、hostId、hostIP、pathFile、hostIPv6、c
PostgreSQL接入LTS 云数据库 GaussDB 数据仓库服务GaussDB(DWS)接入LTS 云数据库 GeminiDB 云数据库GeminiDB接入LTS 云数据库GeminiDB Mongo接入LTS 云数据库GeminiDB Cassandra接入LTS 移动端 iOS、An