检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 前提条件 日志已接入云日志服务(LTS)。 日志流已配置结构化规则。 已在DLI中创建数据库和表,创建数据库表时数据
geo_parse 根据IP地址解析出所属国家、省份和市信息 ip_cidrmatch 判断IP地址是否属于CIDR地址块 ip_version 判断IP地址为IPv4还是IPv6 ip_type 判断IP地址为私有地址还是公有地址 ip_makenet 将单个IP地址转换为CIDR地址块
str_isidentifier 判断字符串是否是有效的Python标识符 str_islower 判断字符串是否由小写字母组成。 str_isnumeric 判断字符串是否由数字组成。 str_isprintable 判断字符串中是否所有字符都是可打印字符。 str_isspace 判断字符串是否仅由空格字符组成。
元素不存在,则返回0。 cardinality函数 计算数组中元素的个数。 mv_length函数 计算数组中元素的个数, 同cardinality。 contains函数 判断数组中是否包含指定元素。如果包含,则返回true。 mv_contains函数 判断数组中是否包含指定
e_if 据判断条件执行操作。 函数格式 e_if(条件, 操作) e_if(条件1, 操作1, 条件2, 操作2, ……) 函数中条件和操作必须成对出现。 参数说明 参数名称 参数类型 是否必填 说明 条件 任意 是 表达式或其组合。其结果不是布尔值时,会进行真假判断。 操作 全局操作函数
CONTAINS_STRING(<expr>, str) 判断expr是否包含str字符串 SELECT CONTAINS_STRING(log_level,'warn') ICONTAINS_STRING(<expr>, str) 判断expr是否包含str字符串,不区分字符串大小写 SELECT
云日志服务Go SDK 云日志服务Net SDK 云日志服务鸿蒙SDK 云日志服务Web SDK 云日志服务iOS SDK 云日志服务Android SDK 云日志服务百度小程序SDK 云日志服务微信小程序SDK 云日志服务钉钉小程序SDK 云日志服务支付宝小程序SDK 云日志服务快应用SDK
条件的日志。根据索引配置方式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数据库的标准计算机语言。管道符提供了使用SQL语句进行数据分析的能力,具体请参考SQL92语法标准。 使用SQL语句进行查询时,建议SQL语句中
选择主机组信息后,采集配置的具体配置如下: 请注意您的敏感信息是否在收集范围内。 相同主机的同一个日志采集路径,如果在AOM进行了配置,则不能在LTS重复配置。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 LTS暂不支持采集PostgreSQL(数据库)实例的日志。 采集配置名称:自
CAgent是否对日志数据进行采集)、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”,单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
full Bool 否 是否完全匹配,默认为false。 返回结果 返回true或者false。 函数示例 判断字段str是否包含数字。 测试数据 { "str": "iZbp1a65x3r1vhpe94fi2qZ" } 加工规则 # 判断字段str是否包含数字。 e_set("regex_match"
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景五:使用default传参为日志不存在的字段填充默认值 场景六:使用e_if函数或e_switch函数判断日志并增加字段 场景七:数据转化纳秒级的Unix时间戳 场景八:数据转化微秒级标准 ISO8601 时间戳
数学计算函数 函数 描述 round函数 用于对x进行四舍五入。如果n存在,则保留n位小数;如果n不存在,则对x进行四舍五入取整数。 round函数 用于对x进行四舍五入。如果n存在,则保留n位小数;如果n不存在,则对x进行四舍五入取整数。 对x进行四舍五入取整数。 语法:ROUND(x)
'\d+', 1) 返回结果 2 2 regexp_like函数 判断目标字符串是否符合正则表达式。 语法:regexp_like(expr, regularExpr) 表4 参数说明 参数名称 描述 类型 是否必选 expr 目标字符串 String 是 regularExpr
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志
服务器-DNS日志 DNS(Domain Name System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志
函数工作流FunctionGraph接入LTS 云数据库GaussDB接入LTS 图引擎服务GES接入LTS 云数据库 TaurusDB接入LTS 云数据库GeminiDB接入LTS 云数据库GeminiDB Mongo接入LTS 云数据库GeminiDB Cassandra接入LTS
等多种方式将采集到的日志上报到LTS,满足不同场景日志接入的诉求。 支持40+华为云服务日志对接LTS。 支持Web、移动端iOS、Android和小程序日志接入LTS。 支持采集Logstash、Flume、Beats开源软件中的数据。 支持通过HTTP、HTTPS、Syslog、Kafka等标准协议接入数据。
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":