检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件,日志的时间(依赖机器的本地时区配置)必须是最近7天以内的。 父主题: 日志接入
在左侧导航栏中选择“日志加工 >函数加工”,进入函数模板页面。 根据实际需要,选择函数模板创建函数。 具体的操作步骤,请参见函数工作流《用户指南》。 父主题: 日志消费与加工
应用与数据集成平台ROMA Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题: 使用云服务接入LTS
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
日志,您需要在云主机上安装ICAgent,然后使用ECS接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 日志组规划建
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
能查看ICAgent运行状态,及时发现异常情况,此功能仅支持5.12.196及以上版本的ICAgent。详细请参考采集诊断仪表盘模板。 父主题: LTS配置中心管理
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。
然后匹配日志。关键词搜索不会区分多个关键词在日志中出现的顺序,因此只要日志中按照搜索的与或非逻辑能命中关键词,该日志就会被搜索到。 表2 搜索区别 搜索方式 短语搜索 关键词搜索 搜索区别 区分关键词的顺序,用于精准匹配目标短语,搜索结果更加精确。 不区分关键词的顺序,按照搜索逻辑命中关键词即可。
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见IAM与企业管理的区别。 “√”表示支持,“x”表示暂不支持。 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目(Project)
编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
指定时间点:从指定的时间点一直拉取到当前最新时间的日志。 消费期间重置消费位点,会导致消费日志紊乱,建议停止消费后再重置消费位点。 父主题: 使用消费组管理消费数据(邀测)
舍五入。如遇四舍五入后不足¥0.01 元,则按¥0.01 元展示)。 新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志
tableEnv.executeSql("insert into print_sink select * from source "); } 父主题: 使用消费组管理消费数据(邀测)
使用res_obs_file函数从OBS Bucket中获取文件内容,并支持定期刷新。支持和其他函数组合使用。 建议日志服务Project和OBS Bucket处于同一地域,使用华为云内网获取数据。 函数格式 res_obs_file(endpoint,bucket,file) 参数说明 参数名称 数据类型 是否必填
Rica", "@direction": "W"}, {"@name": "Colombia", "@direction": "E"}]}]}} 父主题: 操作符函数
"v3", "x5": "v4" } 在结果预览处可以看到目标日志流代称变成了target2。 更多参考 支持和其他函数组合使用。 父主题: 全局操作函数
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数