云日志服务 LTS-云日志服务Java SDK (结构化日志上报):单个producer性能基线

时间:2024-09-25 10:57:03

单个producer性能基线

上报日志时,请参考如下参数的测试性能基线,若超出基线值,可能会导致日志上报异常。

  • totalSizeInBytes:524288000
  • ioThreadCount:8
  • maxBlockMs:0
  • batchSizeThresholdInBytes:524288
  • batchCountThreshold:4096
  • lingerMs:2000

按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。

测试结果:SDK上报日志的数据量为60MB/s,速率为6w条/s。

当日志上报量超过单个producer时:

  • 建议拆分日志流,使用多个producer上报日志,分摊流量,以保障SDK处于正常上报状态。
  • 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。
  • 如果maxBlockMs大于0时,SDK处于阻塞状态,阻塞时间为maxBlockMs,可能会造成prodcuer.send()发送日志方法处于阻塞状态。
support.huaweicloud.com/usermanual-lts/lts_07_0181.html