检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。 功能描述
处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)
ts必须是整数。返回值的类型由expr的类型决定。如果没有指定digits,则使用默认值0。如果digits是负数,则返回expr四舍五入后的整数。当expr是非数字值时,会被转换为数字0。如果expr是无限位数的数字,则被转换为最接近的DOUBLE类型的有限位数数字。 SELECT
返回纪元以来的秒值unix)、SECOND(当前分钟的秒值)、MINUTE(当前小时中的分钟值)、HOUR(当天的小时值)、DAY(当月的天数)、DOW(当前周的天数)、DOY(当前年的天数)、WEEK(当前年的周数)、MONTH(当前的月数)、QUARTER(当年的季度)或YE
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
VPN网关的本端子网与对端子网不能相同,即VPC和用户数据中心待互通的子网不能相同。 VPN网关和对端网关的IKE策略、IPsec策略、预共享密钥需要相同。 VPN网关和对端网关上配置的本端接口地址和对端接口地址需要互为镜像。 VPC内弹性云服务器安全组允许访问对端和被对端访问。
IPV4_MATCH函数,如果address属于subnet的子网ip,则返回true,否则返回false。如果address不是有效的IPv4地址,则返回false。如果address 是整数而不是字符串,则此函数具有更高的执行效率。 字段样例 Ipv4: 192.168.1.18 查询和分析语句 select IPV4
year(s)、month(s)、day(s)等参数的后面都带有s,表示这些参数可以有两种形式,即year和years,month和months等。以year和years为例,如果参数传递的是year,表示在年份粒度上覆盖为year参数的值;如果传递的是years,表示在年份粒度上增加years参数的值。同时要一起组
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的,即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
态等。 IIS日志的字段通常包括: 日期和时间:记录请求发生的具体日期和时间。 客户端IP地址:发起请求的客户端的IP地址。 用户名:如果请求是通过身份验证的,这里会显示用户名;否则可能是“-”。 请求方法:如GET、POST等。 请求的资源:请求的URL路径。 协议版本:如HTTP/1
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
全局操作函数 否 默认的全局操作函数或其组合。没有条件满足时执行该操作。 返回结果 返回加工处理后的日志。 函数示例 如果content字段的值为123,则将__topic__字段的值设置为Number。如果data字段的值为123,则将__topic__字段的值设置为PRO。 测试数据
持和其他函数组合使用。 e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判断当前日志字段的值是否满足正则表达式,任意字段匹配返回true,否则返回false。 e_match_all 判断当前日志字段的值是否满足正则表达式
Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者nginx
string 必填 - 华为云账号的项目ID。 groupId string 必填 - LTS的日志组ID。 streamId string 必填 - LTS的日志流ID。 accessKey string 必填 - 华为云账号的访问密钥,简称AK。注意:认证用的华为云账号AK、SK硬编码
时间字段 时间字段类型 云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳
gGroupName和logStreamName。 当结构化字段类型和数据库表字段类型一致时,支持将日志的结构化字段转储至数据仓库服务GaussDB(DWS),否则转储无效。 在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要的转储字段。 单击,添加需要转储的字段。
在“定时SQL”页签,单击目标作业名称进入详情页面,可查看定时SQL任务的基本信息和执行实例。 每一个实例的上报的日志条数最多为100行。 修改定时SQL 在“定时SQL”页签,单击目标作业名称操作列对应的“修改”。 在弹出的页面中,修改表2。 定时SQL的任务名称和源日志组/流名称无法进行修改。 删除定时SQL
lts-flink-connector source和sink日志不能为同一个日志流。 flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者
e_search_dict_map 对关键字(查询字符串)以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map 对某列(查询字符串)以及其匹配的值的表格数据进行映射。 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。 函数格式 e_dict_map(data