检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当新值非空,且目标字段不存在时,设置目标字段。 overwrite 总是设置目标字段。 overwrite-auto 当新值非空,设置目标字段。 父主题: DSL数据加工语法(邀测)
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
与目标数据字典进行映射,根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射,根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map 对关键字(查询字符串)以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
S的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 当前仅华北-北京四、华东-上海一、华南-广州区域使用SDK时支持跨云/本地上报日志,Endpoint端口使用443。 注意事项 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
查看是否存在testremotelog日志 通过多台syslog服务器和elb实现负载均衡。 目前采集单台syslog服务器处理日志能力为10MB/s,如果客户日志业务量较大,可以使用多台syslog服务器和elb实现扩容和负载均衡。 创建syslog汇聚服务器和安装ICAgent。 请参考实现单个Web应用的负载均衡创建负载均衡器。
数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 在允许表达式的任何地方都允许使用铸造表达式。 语法:CAST(Expression
语法:max_by(x, y, n) 表13 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意数据类型 是 y 原始字段。 任意数据类型 是 n 大于0的整数。 int 否 返回值类型:与参数值的数据类型一致。 示例1:统计请求时长最大时对应的请求方法。 表14 查询分析结果 类型 场景
REPEAT(expr, [N])函数将expr重复N次。 字段样例 field4:is 查询和分析语句 select field4,REPEAT(field4,3) 查询和分析结果 表2 查询和分析结果 field4 EXPR$1 Is isisis 父主题: SQL分析语法介绍
LATEST(visitCount) APPROX_QUANTILE_DS(expr, probability) 计算数值expr的近似分位数,probability应介于0和1之间。 APPROX_QUANTILE_DS(expr, probability) 父主题: SQL分析语法介绍
示例1:将k2满足正则表达式,输出到target2中。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创
drop_packed Boolean 否 打包数据后是否删除被打包的原数据,默认为true。 true(默认值):输出结果中删除被打包的原数据。 false:输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。 函数示例 示例1:将日志所有字段打包到test字段,默认删除被打包的原始字段。
目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证
全局操作函数或其组合。 返回结果 返回操作后日志。 函数示例 如果content字段的值为123,则先删除age字段和name字段,然后将content字段的值设置为ctx。 测试数据 { "content": 123, "age": 23, "name": "twiss" } 加工规则
服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细请参考
e_not_has 判断日志字段是否不存在。支持和其他函数组合使用。 表达式函数 e_search 提供一种简化,类似Lucene语法的事件搜索方式。支持和其他函数组合使用。 e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判
类型 是否需要填写 默认值 ProjectId 华为云账号的项目ID(project id)。 String 必填 - AccessKeyId 华为云账号的AK。 String 必填 - AccessKeySecret 华为云账号的SK。 String 必填 - RegionName
"produce_case", "id": 7890, "content": "this is a log test" }] 加工规则:丢弃没有topic字段和receive_time字段的日志。 e_if(e_not_has("topic"),e_drop()) e_if(e_not_has("receive_time")