表格存储服务 CLOUDTABLE-Doris集群支持的监控指标:BE节点支持的监控指标
BE节点支持的监控指标
BE节点监控指标如表2所示。
指标名称 |
显示名称 |
含义 |
取值范围 |
监控周期(原始指标) |
命名空间 |
---|---|---|---|---|---|
doris_be_active_scan_context_count |
由外部直接打开的scanner的个数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_add_batch_task_queue_size |
接收batch的线程池的队列大小 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_brpc_endpoint_stub_count |
已创建的brpc stub的数量(BE) |
这些stub用于BE之间的交互 |
≥0 |
60s |
SYS.CloudTable |
doris_be_brpc_function_endpoint_stub_count |
已创建的brpc stub的数量(Remote RPC) |
这些stub用于和Remote RPC之间交互 |
≥0 |
60s |
SYS.CloudTable |
doris_be_cache_usage_LastestSuccessChannelCache |
LRU ChannelCache使用率 |
LRU DataPageCache使用率 |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_usage_ratio_DataPageCache |
LRU DataPageCache使用率 |
- |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_usage_ratio_IndexPageCache |
LRU IndexPageCache使用率 |
- |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_usage_ratio_SegmentCache |
LRU SegmentCache使用率 |
- |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_hit_ratio_DataPageCache |
LRU DataPageCache命中率 |
数据Cache,直接影响查询效率 |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_hit_ratio_IndexPageCache |
LRU IndexPageCache命中率 |
索引Cache,直接影响查询效率 |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_hit_ratio_LastestSuccessChannelCache |
LRU ChannelCache命中率 |
- |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_cache_hit_ratio_SegmentCache |
LRU SegmentCache命中率 |
- |
[0%,100%] |
60s |
SYS.CloudTable |
doris_be_chunk_pool_local_core_alloc_count |
ChunkAllocator中,从绑定的core的内存队列中分配内存的次数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_chunk_pool_other_core_alloc_count |
ChunkAllocator中,从其他的core的内存队列中分配内存的次数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_chunk_pool_reserved_bytes |
ChunkAllocator中预留的内存大小 |
- |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_chunk_pool_system_alloc_cost_ns |
SystemAllocator申请内存的耗时 |
累计值通过斜率可以观测内存分配的耗时 |
≥0 ns |
60s |
SYS.CloudTable |
doris_be_chunk_pool_system_alloc_count |
SystemAllocator申请内存的次数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_chunk_pool_system_free_cost_ns |
SystemAllocator释放内存的耗时累计值 |
通过斜率可以观测内存释放的耗时 |
≥0 ns |
60s |
SYS.CloudTable |
doris_be_chunk_pool_system_free_count |
SystemAllocator释放内存的次数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_compaction_bytes_total_base |
Base Compaction的数据量 |
累计值 |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_compaction_bytes_total_cumulative |
Cumulative Compaction的数据量 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_compaction_deltas_total_base |
Base Compaction处理的rowset个数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_compaction_deltas_total_cumulative |
Cumulative Compaction处理的rowset个数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_compaction_waitting_permits |
正在等待Compaction令牌的数量 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_data_stream_receiver_count |
数据接收端Receiver的数量 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_data_stream_receiver_count |
数据接收端Receiver的数量 |
同doris_be_data_stream_receiver_count |
≥0 |
60s |
SYS.CloudTable |
doris_be_fragment_request_duration_us |
所有fragment intance的执行时间 |
累计值通过斜率观测 instance 的执行耗时 |
≥0 us |
60s |
SYS.CloudTable |
doris_be_fragment_requests_total |
执行过的fragment instance的数量 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_load_channel_count |
当前打开的load channel个数 |
数值越大,说明当前正在执行的导入任务越多 |
≥0 |
60s |
SYS.CloudTable |
doris_be_mem_consumption_tablet_meta |
tablet_meta模块的当前总内存开销 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_mem_consumption_load |
load模块的当前总内存开销 |
- |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_memory_allocated_bytes |
TcMalloc占用的虚拟内存的大小 |
- |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_memory_pool_bytes_total |
所有MemPool当前占用的内存大小 |
- |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_memtable_flush_duration_us |
memtable写入磁盘的耗时 |
累计值通过斜率可以观测写入延迟 |
≥0 us |
60s |
SYS.CloudTable |
doris_be_memtable_flush_total |
memtable写入磁盘的个数 |
累计值通过斜率可以计算写入文件的频率 |
≥0 |
60s |
SYS.CloudTable |
doris_be_meta_request_duration_read |
访问RocksDB中的meta的读取耗时 |
- |
≥0 us |
60s |
SYS.CloudTable |
doris_be_meta_request_duration_write |
访问RocksDB中的meta的写入耗时 |
- |
≥0 us |
60s |
SYS.CloudTable |
doris_be_meta_request_total_read |
访问RocksDB中的meta的读取次数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_meta_request_total_write |
访问RocksDB中的meta的写入次数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_plan_fragment_count |
当前已接收的fragment instance的数量 |
观测是否出现instance堆积 |
≥0 |
60s |
SYS.CloudTable |
doris_be_process_fd_num_limit_hard |
BE进程的文件句柄数硬限 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_process_fd_num_limit_soft |
BE进程的文件句柄数软限 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_process_fd_num_used |
BE进程已使用的文件句柄数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_process_thread_num |
BE进程线程数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_query_cache_memory_total_byte |
Query Cache占用字节数 |
- |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_query_cache_partition_total_count |
当前Partition Cache缓存个数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_query_cache_sql_total_count |
当前SQL Cache缓存个数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_query_scan_bytes |
读取数据量的累计值 |
只统计读取Olap表的数据量 |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_query_scan_bytes_per_second |
读取速率 |
- |
≥0 Byte/s |
60s |
SYS.CloudTable |
doris_be_query_scan_rows |
读取行数 |
累计值只统计读取Olap表的数据量,通过斜率观测查询速率。 |
≥0 |
60s |
SYS.CloudTable |
doris_be_result_block_queue_count |
当前查询结果缓存中的fragment instance个数 |
该队列仅用于被外部系统直接读取时使用 |
≥0 |
60s |
SYS.CloudTable |
doris_be_result_buffer_block_count |
当前查询结果缓存中的query个数 |
该数值反映当前BE中有多少查询的结果正在等待FE消费 |
≥0 |
60s |
SYS.CloudTable |
doris_be_routine_load_task_count |
当前正在执行的routine load task个数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_rowset_count_generated_and_in_use |
自上次启动后,新增的并且正在使用的rowset id个数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_scanner_thread_pool_queue_size |
用于OlapScanner的线程池的当前排队数量 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_segment_read_segment_read_total |
读取的segment的个数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_segment_read_segment_row_total |
读取的segment的行数 |
累计值该数值也包含了被索引过滤的行数 |
≥0 |
60s |
SYS.CloudTable |
doris_be_send_batch_thread_pool_queue_size |
导入时用于发送数据包的线程池的排队个数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_send_batch_thread_pool_thread_num |
导入时用于发送数据包的线程池的线程数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_small_file_cache_count |
当前BE缓存的小文件数量 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_streaming_load_current_processing |
当前正在运行的stream load任务数 |
仅包含curl命令发送的任务 |
≥0 |
60s |
SYS.CloudTable |
doris_be_streaming_load_duration_ms |
所有stream load任务执行时间的耗时 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_streaming_load_requests_total |
stream load任务数 |
累计值通过斜率可观测任务提交频率。 |
≥0 |
60s |
SYS.CloudTable |
doris_be_stream_load_pipe_count |
当前stream load数据管道的个数 |
包括stream load和routine load任务 |
≥0 |
60s |
SYS.CloudTable |
doris_be_stream_load_load_rows |
stream load最终导入的行数 |
包括stream load和routine load任务 |
≥0 |
60s |
SYS.CloudTable |
doris_be_stream_load_receive_bytes |
stream load接收的字节数 |
包括stream load从http接收的数据,以及routine load从kafka读取的数据。 |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_tablet_base_max_compaction_score |
当前最大的Base Compaction Score |
该数值实时变化,有可能丢失峰值数据;数值越高,表示compaction堆积越严重。 |
≥0 |
60s |
SYS.CloudTable |
doris_be_tablet_cumulative_max_compaction_score |
当前最大的Cumulative Compaction Score |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_thrift_connections_total_heartbeat |
心跳服务的连接数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_thrift_connections_total_backend |
BE服务的连接数 |
累计值 |
≥0 |
60s |
SYS.CloudTable |
doris_be_thrift_current_connections_heartbeat |
心跳服务的当前连接数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_thrift_current_connections_backend |
BE服务的当前连接数 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_timeout_canceled_fragment_count |
因超时而被取消的fragment instance数量 |
这个值可能会被重复记录 |
≥0 |
60s |
SYS.CloudTable |
doris_be_stream_load_txn_request_begin |
stream load开始事务数 |
包括stream load和routine load任务 |
≥0 |
60s |
SYS.CloudTable |
doris_be_stream_load_txn_request_commit |
stream load执行成功的事务数 |
包括stream load和routine load任务 |
≥0 |
60s |
SYS.CloudTable |
doris_be_stream_load_txn_request_rollback |
stream load执行失败的事务数 |
包括stream load和routine load任务 |
≥0 |
60s |
SYS.CloudTable |
doris_be_unused_rowsets_count |
当前已废弃的rowset的个数 |
这些rowset正常情况下会被定期删除 |
≥0 |
60s |
SYS.CloudTable |
doris_be_load_bytes |
通过tablet sink发送的数量 |
累计值可观测导入数据量 |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_load_rows |
通过tablet sink发送的行数 |
累计值可观测导入数据量 |
≥0 Byte |
60s |
SYS.CloudTable |
doris_be_fragment_thread_pool_queue_size |
当前查询执行线程池等待队列的长度 |
- |
≥0 |
60s |
SYS.CloudTable |
doris_be_compaction_used_permits |
Compaction任务已使用的令牌数量 |
用于反映Compaction的资源消耗量 |
≥0 |
60s |
SYS.CloudTable |
doris_be_upload_total_byte |
rowset数据量累计值 |
- |
≥0 |
60s |
SYS.CloudTable |
light_work_active_threads |
light_work_active_threads |
brpc light线程池活跃线程数 |
≥0 |
60s |
Service.CloudTable |
light_work_pool_queue_size |
light_work_pool_queue_size |
brpc light线程池队列最大长度,超过则阻塞提交work |
≥0 |
60s |
Service.CloudTable |
fragment_thread_pool_queue_size |
fragment_thread_pool_queue_size |
当前查询执行线程池等待队列的长度 |
≥0 |
60s |
Service.CloudTable |
process_thread_num |
process_thread_num |
BE 进程线程数 |
≥0 |
60s |
Service.CloudTable |