应用平台 APPSTAGE-虚拟机日志接入:步骤二:创建日志空间
步骤二:创建日志空间
- 在“日志接入”页面,选择左侧导航栏的“日志空间”。
- 单击“申请实时日志空间”。
- 根据界面提示填写日志空间参数。
- 配置实时日志空间信息,参数说明如表2所示,配置完成后,单击“下一步”。
表2 实时日志空间信息参数说明 参数名称
参数说明
空间名称
自定义日志空间名称,建议包含日志类型语义。
空间描述
输入日志空间描述,非必填项。
日志类型
选择需接入的日志类型,该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下:
日志大小
预计一天的日志量,默认为1GB。
开启日志检索
如果需要使用日志检索功能,可以打开该开关,并创建导流任务,创建导流任务后可以在“日志检索”页面查看日志。
检索空间类型
选择ClickHouse。
原索引名称(ClickHouse)
可选择现有的ClickHouse,如果不填会自动生成。
TTL
日志索引的生命周期,即可以检索的日志时间范围,当前默认支持7天。
- 配置实时日志字段信息,参数说明如表3所示,配置完成后,单击“下一步”。
表3 实时日志字段信息参数说明 参数名称
参数说明
自定义字段
必须接入的日志字段已默认勾选,可以勾选其他需要接入的日志字段,包括通用字段、容器字段和虚机字段。
新增自定义环境变量
如需添加自定义环境变量,请选择环境变量名,然后单击“添加”。虚机暂无可选自定义环境变量。
清洗规则
选择日志清洗规则。
请优先使用算子清洗模式采样,通过配置解析脚本将原始日志清洗为业务需要的日志字段,算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样,不需要清洗的场景。
日志样例
输入日志样例。
解析脚本
配置解析脚本,将日志样例清洗为字段显示,具体算子功能及使用样例请参见算子清洗功能介绍。
说明:配置解析脚本时字段命名不支持使用中划线“-”,支持使用下划线“_”。
清洗字段
配置解析脚本后单击“配置解析脚本”,自动生成清洗字段,查看字段是否符合预期。
开启汇聚
选择是否开启日志汇集,如果日志量较大且不需要关注原始日志时可以进行日志汇集。
开启后会自动创建用于存储汇聚数据的Topic,同时需要配置汇集相关参数。
汇聚粒度
开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。
汇聚时间戳
仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。
时间戳格式
选择时间戳格式。支持秒、毫秒、纳秒级时间戳,获取当前计算的日志的时间格式。
汇聚维度
结合业务场景需要,选择日志是以哪些日志字段进行日志汇聚,支持多选。
汇聚度量
设置对日志字段以COUNT、SUM、MAX、MIN进行度量。
原始字段是日志中的字段,用来获取原始值;度量字段是用户自定义字段名,计算后,度量的值会赋值给该字段。
输出原始日志
选择是否需要输出原始日志。如果打开输出原始日志,原始日志也会上报。
- 日志字段确认,确认日志字段配置是否达到预期,达到预期后可单击“下一步”。
- 申请日志空间共享,如果需要其他服务共用这个空间进行日志下发和日志检索,可以添加共享服务。配置完成后,单击“保存”。
- 配置实时日志空间信息,参数说明如表2所示,配置完成后,单击“下一步”。