检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jar的程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,具体操作请参考创建程序包。 FlinkLtsLogConsumer FlinkLtsLogConsumer提供了订阅云日志服务中某一个日志组中单个或者多个日志流的能力,支持Exactly
完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。 tag字段功能上线前,已设置的结构化配置,在修改结构化配置进行tag字段设置时,系统tag不会带出示例字段。
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
回结果中的scheme字段才会使用此处设置的值。 allow_fragments Boolean 否 是否解析URL中的fragment部分。 true(默认值):解析URL中的fragment部分,返回结果中的fragment字段为具体值。 false:不解析URL中的frag
是 字段名或多个字段名的列表。 sep String 否 关键字与值的正则表达式的分隔符串,默认为=,不限于单个字符。 说明 可以使用非捕获分组,但不能使用捕获分组。 quote String 否 引用符,用于包裹值的字符。默认为"。 说明 提取的动态键值对的值一般需要quote来
的数据,e_table_map函数接收的是通过资源函数获取的table类型的数据。 例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映
keep_fields Tuple 否 返回结果中包含的key信息。支持的key如下列表: city:城市名称。 province:省份名称。 country:国家名称。 isp:所属网络运营商名称。 lat:IP地址所在位置的纬度。 lon:IP地址所在位置的经度。 例如keep_fields=("city"
应用场景2:安全合规 大型企业的每个业务部门都有独立的云账户实现资源隔离,每个业务部门的运维人员需要依赖日志监控告警实现故障定位分析,同时集团安全部门需要统一监控日志,因此多账号的统一日志管理成为企业痛点: 分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")