检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史记录收集
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a"
云日志服务SDK仅支持在华为云ECS主机上使用。 当用户修改权限后,权限信息在一天后生效。 安装SDK 您可以通过Maven依赖方式安装日志服务Java SDK,在Maven项目中加入依赖项。
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。
然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。
列表函数 本文介绍列表函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 lst_make 构建列表。 lst_insert 在列表特定位置插入元素。 lst_append 在列表结尾追加元素。 lst_delete_at 在列表特定位置删除元素。 lst_reverse
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
聚合函数 本文介绍聚合函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列,返回处于percentage位置的数值。 arbitrary
窗口函数 本文介绍窗口函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法: ntile(n) over ( [partition
创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”,进入委托页面。 单击右上角“创建委托”,具体操作请参考委托其他云服务管理资源,创建委托时参数设置要求参考如下。 委托类型:选择“云服务”。 云服务:选择“弹性云服务器 ECS 裸金属服务器 BMS”。
在LTS页面升级ICAgent失败怎么办? 因为ICAgent安装是覆盖式安装,无需先卸载,因此在LTS页面升级ICAgent失败时,重新执行安装命令再次进行升级ICAgent即可。 详细请参考安装ICAgent。 父主题: 主机管理
批量修改LTS日志文件转储时区 您在LTS上经常会执行日志接入、日志告警、日志转储等配置操作。有些操作是需要重复多次配置,但目前LTS还没有提供控制台批量操作功能,这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储的
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一
设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”,单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
操作符函数 本文介绍操作符函数的语法规则,包括参数解释、函数示例等。 函数列表 如果值为负数,请使用op_neg(positive value)函数,例如:您要表示-1,请使用op_neg(1)。 表1 操作符函数列表 类型 函数 说明 条件判断函数 op_if 根据判断条件返回不同表达式的值
使用ICAgent收集日志时CPU占用较高怎么处理? 如果在使用ICAgent收集日志过程中遇到CPU占用较高(例如运行速度变慢/程序崩溃)的情况,请确认您配置的日志采集路径下是否有大量的日志文件,建议您定时清理,以减少ICAgent在收集日志过程中带来的系统资源占用。若还是无法解决
概念解释 LTS DSL语法中的日期时间处理主要涉及三种数据类型:日期时间字符串、日期时间对象和Unix时间戳。 日期时间字符串:日期时间字符串的主要用途是为了便于展示以及提升用户可读性。 LTS DSL语法中的日期时间字符串主要分为两种形式: 带有时区信息的日期时间字符串,如2018
若有以下场景,可以选择使用自定义标识主机组: VPC等自定义网络环境中,可能出现不同服务器IP地址冲突的问题,导致日志服务无法管理ICAgent。使用自定义标识可以避免此类情况的发生。 多台服务器通过同一个自定义标识实现主机组弹性伸缩。
使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。