金融智能业务运维服务(HCS版)-

日志中心的解决之道

• 统一日志管理：提供一站式的统一日志管理服务，实现离散日志的统一采集、检索及分析。

• 高可靠的数据存储：采用Clickhouse列式存储，单个实例达到50W/s，查询计算性能强悍，高可用、可水平扩展。

• 日志监控：提供基于阈值和智能算法的日志异常检测能力，同时提供异常分析能力，保障企业的业务连续性。

• 全链路追踪：提供基于opentracing的链路分析以及基于日志的关联分析，实现业务全链路追踪，准确定位异常请求。

• 访问控制：提供基于数据脱敏规则的敏感数据识别和保护能力，统一安全认证，租户隔离，数据全生命周期管理，更好的满足企业合规性以及审计的需求。

产品特点

• AIOps能力高度融合
  面向业务自上而下构建业务层级架构，对资源分层建模，建立起业务资源、平台资源、基础资源间的关联关系，从而为各种业务运维场景提供数据支持。
• 多种主流数据采集
  DOLA产品支持自主研发的DOLA日志采集器（CDC采集器）以及Filebeat、 Logstash等多种 开源 日志采集器，能够对来自网络设备、安全设备、操作系统、 数据库 、中间件、业务系统的离散的日志数据进行有效、集中的采集，适配多种数据库，操作简便，帮助客户减少日志采集的时间与人力成本。
• 日志自动解析
  DOLA产品支持能够根据配置的解析模版，自动解析原始日志。内置多种日志解析模版，开箱即用。
• 基于业务视角的全局拓扑分析
  DOLA产品基于调用链日志，从业务视角分析全服务流程的调用拓扑，并对各服务流程的服务请求进行分析，能够更好的观察业务流程的走向，快速发现业务流程中节点的问题。
• 高可靠的数据存储
  DOLA产品采用简洁、轻量、高效、稳定、可扩展的技术架构，可以兼容ES、双引擎；采用基于列式存储数据库Clickhouse，单个实例达到50W/s，查询计算性能强悍，具有高可用、可水平扩展的能力，能够满足客户各种业务场景下日志存储的需求。
• 超高压缩比：满足低磁盘存储空间以及低内存需求。
• 顺序存储：列存模式，数据有序摆放，减少对磁盘IO的需求。
• 向量化查询执行：列式数据按列计算，减少函数调用次数，缩短计算时间，满足毫秒级响应查询要求。
• 多主机异步容错机制：最大限度的保证数据的完整性。
• 高性能分布式查询：使用高性能的分布式查询引擎，能够快速实现多数据源整合与查询。
• 跨数据源关联查询：可连接多种数据源以及数据平台，支持数据源扩展。
• 谓词下推：支持push down查询，减少分布式查询的网络流量，提升关联查询的性能。
• 可扩展架构：无中心化设计，可非常容易的水平伸缩，轻松从GB级扩展到PB级。

产品价值

统一日志管理

• 对离散日志进行统一采集、处理、存储以及查询分析，实现日志的有效管理，降低日志采集成本以及日志查找的复杂度，避免故障。

基础运维

• 提供灵活的、强大的实时日志检索能力，提高故障定位的效率。
• 通过对日志进行监控，触发监控规则的阈值，系统会发送告警消息，便于及时发现并处理异常。

业务分析

• 通过日志调用链追踪，帮助运维人员快速分析系统性能消耗的原因、定位异常并解决问题。
• 基于日志数据，统计业务交易量、交易成功率、交易响应率等业务指标，帮助用户快速了解业务的关键信息。

异常检测

• 通过对日志数据进行模式识别及异常检测，无需设置告警阈值即可主动发现日志异常，有效保障业务连续性。

数据分析

• 通过各类报表对日志数据进行统计与分析，为运维与运营活动提供数据支撑，更好地挖掘日志数据的价值。

核心功能

统一日志采集与存储

• 采用统一的数据采集框架和任务调度机制，实现海量多源数据的统一采集与采集任务的统一管理。
• 采用高性能深度列式存储集群，能够满足PB级数据规模下的数据存储需求。
• 提供可视化数据处理pipeline，使用灵活、操作简便

全面日志检索

• 提供日志全文检索、划词分析、字段过滤、日志上下文、常用搜索结果保存等功能，能够全方位的满足日志查询和使用的需求。

日志模式聚类

• 日志模式识别利用聚类算法将日志文本中相似度高的数据聚合在一起，提取共同的日志模式，帮助用户掌握日志全貌并快速发现异常模式日志。

日志模式识别

• 支持调整聚类的灵敏度，灵敏度越大，识别的模式越多。
• 模式下日志样例查看
• 通过模式占比值下钻可以查看该模式下的日志样例。
• 模式钻取
• 将模式转换为搜索语句，使用模式内容中包含的关键字进行搜索，并展示搜索结果。

日志可视化分析

• 提供快速便捷的可视化分析界面，基于搜索结果和配置信息快速显示可视化分析的结果，可应用于日志统计分析以及 日志分析 成果展示等场景。
• 六种统计方式：计数、平均值、最大值、最小值、求和以及去重值。

基于规则的日志监控

• 对目标日志中统计指标设置阈值告警或同环比告警。
• 统计指标可以是日志数或日志数占比, 或日志中数值型字段进行均值/求和/最大值/最小值。 

日志异常检测

• 对实时接入的日志做聚类形成日志模式，与历史同期模式做对比分析。
• 对特定分组的日志内出现的所有异常(突增, 突降等)综合评估，并根据异常日志数量与异常类型权重等条件, 计算出故障得分。
• 支持用户手动反馈，并通过反馈优化算法提高告警精准度。

日志关联分析

• 通过将各个业务系统之间的关联字段串联, 建立业务系统之间的关联模型，从而实现基于日志的链路分析。另外支持提取日志中的字段, 创建关联模型的自定义指标, 帮助运维人员快速梳理业务流程下的日志，全面分析问题，实现问题的快速定位。

全链路日志分析

• 基于TraceId进行全链路追踪，支持查看调用链拓扑概览和请求节点的耗时，定位错误请求，为企业的业务健康运行和高效运营提供可靠保障。
• 从业务流程视角对单一服务流程上的端点与实例进行请求统计和耗时分析，可查看具体请求详情。