检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
弹出的创建日志组页面创建新的日志组。详细请参考管理日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流。若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。详细请参考管理日志流。 单击“下一步:选择主机组(可选)”。 步骤2:选择主机组(可选)
是否必填 说明 param String 是 对应高级参数配置中的Key。 default String 否 当param参数的值不存在时,返回该参数的值,默认值为None。 type String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。
采集路径支持模糊匹配,匹配目录或文件名中的任何字符。示例:/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。
多行-全文日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 JSON:适用JSON格式的日志,通过提取JSON字段将其拆分为键值对。 分隔符:适用于固定符号(例如空格/逗号/冒号)分隔的日志。
P是放置在持续时间表示的开始处的持续时间指示符(对于期间)。 Y是日历年数值之后的年指示符。 M是日历月数值之后的月份指示符。 W是周数值之后的周指示符。 D是日历天数值之后的日期指示符。 T是表示的时间分量之前的时间指示符。 H是小时数值之后的小时指示符。 M是分钟指示符,紧随分钟数的值。 S是秒数值之后的第二个指示符。
根据字符串、数组、元组的下标返回其对应的元素。 一般性多值操作 op_add 计算多个值的和,可以是字符串或者数字等。 op_max 计算多个字段或表达式表示的数值的最大值。 op_min 计算多个字段或表达式表示的数值的最小值。 op_if 根据判断条件返回不同表达式的值。 函数格式 op_if(condition
钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 QPS图展示QPS的变化情况,所关联的查询分析语句如下所示: select TIME_FORMAT(TIM
钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 QPS图展示QPS的变化情况,所关联的查询分析语句如下所示: select TIME_FORMAT(TIM