应用平台 APPSTAGE-虚拟机日志接入:步骤二:创建日志空间

时间:2024-10-22 15:42:53

步骤二:创建日志空间

  1. 在“日志接入”页面,选择左侧导航栏的“日志空间”。
  2. 单击“申请实时日志空间”。
  3. 根据界面提示填写日志空间参数。

    1. 配置实时日志空间信息,参数说明如表2所示,配置完成后,单击“下一步”。
      表2 实时日志空间信息参数说明

      参数名称

      参数说明

      空间名称

      自定义日志空间名称,建议包含日志类型语义。

      空间描述

      输入日志空间描述,非必填项。

      日志类型

      选择需接入的日志类型,该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下:

      • 访问日志:AC CES S_ LOG
      • 接口日志:INTERFACE_LOG
      • 错误日志:ERROR_LOG
      • 异常日志:EXCEPTION_LOG
      • 安全日志:SAFE_LOG
      • 资源日志:RESOURCE_LOG
      • 运行日志:RUN_LOG
      • 话单日志:CDR_LOG
      • 指标日志:METRI CS _LOG
      • GC日志:GC_LOG
      • HCW日志:HCW_LOG

      日志大小

      预计一天的日志量,默认为1GB。

      开启日志检索

      如果需要使用日志检索功能,可以打开该开关,并创建导流任务,创建导流任务后可以在“日志检索”页面查看日志。

      检索空间类型

      选择ClickHouse。

      原索引名称(ClickHouse)

      可选择现有的ClickHouse,如果不填会自动生成。

      TTL

      日志索引的生命周期,即可以检索的日志时间范围,当前默认支持7天。

    2. 配置实时日志字段信息,参数说明如表3所示,配置完成后,单击“下一步”。
      表3 实时日志字段信息参数说明

      参数名称

      参数说明

      自定义字段

      必须接入的日志字段已默认勾选,可以勾选其他需要接入的日志字段,包括通用字段、容器字段和虚机字段。

      新增自定义环境变量

      如需添加自定义环境变量,请选择环境变量名,然后单击“添加”。虚机暂无可选自定义环境变量。

      清洗规则

      选择日志清洗规则。

      请优先使用算子清洗模式采样,通过配置解析脚本将原始日志清洗为业务需要的日志字段,算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样,不需要清洗的场景。

      日志样例

      输入日志样例。

      解析脚本

      配置解析脚本,将日志样例清洗为字段显示,具体算子功能及使用样例请参见算子清洗功能介绍

      说明:

      配置解析脚本时字段命名不支持使用中划线“-”,支持使用下划线“_”。

      清洗字段

      配置解析脚本后单击“配置解析脚本”,自动生成清洗字段,查看字段是否符合预期。

      开启汇聚

      选择是否开启日志汇集,如果日志量较大且不需要关注原始日志时可以进行日志汇集。

      开启后会自动创建用于存储汇聚数据的Topic,同时需要配置汇集相关参数。

      汇聚粒度

      开启汇聚后,需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级,每一分钟会生成一个统计点,选择秒级,每一秒会生成一个统计点。

      汇聚时间戳

      仅支持时间戳格式字段timestamp,获取当前计算的日志的时间。

      时间戳格式

      选择时间戳格式。支持秒、毫秒、纳秒级时间戳,获取当前计算的日志的时间格式。

      汇聚维度

      结合业务场景需要,选择日志是以哪些日志字段进行日志汇聚,支持多选。

      汇聚度量

      设置对日志字段以COUNT、SUM、MAX、MIN进行度量。

      原始字段是日志中的字段,用来获取原始值;度量字段是用户自定义字段名,计算后,度量的值会赋值给该字段。

      输出原始日志

      选择是否需要输出原始日志。如果打开输出原始日志,原始日志也会上报。

    3. 日志字段确认,确认日志字段配置是否达到预期,达到预期后可单击“下一步”。

      其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。

    4. 申请日志空间共享,如果需要其他服务共用这个空间进行日志下发和日志检索,可以添加共享服务。配置完成后,单击“保存”。

support.huaweicloud.com/bestpractice-appstage/appstage_09_0066.html