检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
设置日志云端结构化解析 云日志服务LTS目前支持五种日志结构化方式,分别是正则分析、JSON、分隔符、Nginx和结构化模板。您可以根据日志内容的实际场景进行选择。 正则分析:适用于日志文本中每行内容为一条原始日志,且每条日志可按正则表达式提取为多个key-value键值的日志解
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景1:调用op_add函数进行字符拼接和数据相加。 op_add函数既可以接收字符串类型,也可以接受数值类型,因此不需要做参数类型转换。 示例如下所示: 原始日志 { "a":"1"
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_sw
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智
场景二:使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1:原字段不存在或者为空时,为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示: 原始日志 { "name":""
场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 一般情况下,推荐您使用e_compose函数进行多个函数的组合操作。 示例如下所示: 原始日志 {"content":"123", "age":23, "name":"twiss", "IdNumber":1
是 String 资源类型,log_group / log_stream / tenant search_type 是 String 查询流量类型值为:write,index,storage,basicTransfer,seniorTransfer,coldStorage resource_id
场景五:使用default传参为日志不存在的字段填充默认值 原始日志 { "content": "this is a log" } 加工规则: e_if(e_not_has("type"), e_set("type", "log")) 加工结果 { "type": "log"
单台Syslog服务器处理日志能力为10MB/s,如果您的日志量较大,或者希望可靠性更高,可以购买多台ECS配置为Syslog服务器,并配置ELB负载均衡分发流量。 您需要在Syslog服务器上安装ICAgent,并配置日志采集规则,就可以将日志采集到LTS。 资源规划 购买两台ECS机器,一台EC
SDK概述 本文介绍了LTS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可
CFW访问控制日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW攻击日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW流量日志 根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志
日志被丢弃。 更多参考 支持和其他函数组合使用。 e_search 提供一种简化,类似Lucene语法的事件搜索方式。 该功能在邀测期间,e_search函数处理日志流量比较小,请谨慎使用。 函数格式 e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明
测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。
若关闭日志存储,则无法开启日志存储时间。 开启“日志存储”:日志将会被存入搜索引擎,能使用日志全量功能。 关闭“日志存储”:日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。
测试结果:SDK上报日志的数据量为15MB/s,速率为1.5w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。
计,并将统计结果动态呈现到aom的Prometheus实例,操作简单且功能强大。 前提条件 已创建日志生成指标,详情请参见日志生成指标(邀测)。 日志配置结构化,详情请参见设置云端结构化解析日志。 日志生成指标任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。
测试结果:SDK上报日志的数据量为60MB/s,速率为6w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。