云服务器内容精选

华为云首页用户手册

Doris冷热分离应用

表格存储服务 CLOUDTABLE-冷热分离概述:背景

背景在数据分析的实际场景中，冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多，如果我们将所有数据存储在本地，将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储，将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力，冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整，以满足不同场景的要求。冷热分离一般适用于以下需求场景：数据存储周期长：面对历史数据的不断增加，存储成本也随之增加。冷热数据访问频率及性能要求不同：热数据访问频率高且需要快速响应，而冷数据访问频率低且响应速度要求不高。

表格存储服务 CLOUDTABLE Doris冷热分离应用
表格存储服务 CLOUDTABLE-冷热分离概述:原理介绍

原理介绍创建表：CloudTable Doris通过文件系统在本地数据目录创建目录。写数据：调用文件系统相关功能，生成文件到本地数据目录下。合并数据：定期读取数据文件rowset，判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值，则文件不移动。如果当前时间减去写入时间大于TTL设置的值，则会在系统后台执行并调用OBS SDK数据写入OBS，随后将本地文件删除。查询数据：用户在表上进行对应的查询时，Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径，并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。

表格存储服务 CLOUDTABLE Doris冷热分离应用
表格存储服务 CLOUDTABLE-典型场景说明:场景说明

场景说明假定用户开发一个网站系统，test_tbl用于实时用户访问网站的记录，记录数据如下表：表1 原始数据 timestamp type error_code error_msg op_id op_time 2024-03-26 10:36:00 1 404 Resource Not Found 998756 2024-03-26 11:36:00 2024-03-26 10:35:00 1 404 Resource Not Found 998756 2024-03-26 11:35:00 2024-03-26 10:33:00 1 404 Resource Not Found 998756 2024-03-26 11:33:00 2024-03-27 09:10:00 1 200 ok 998756 2024-03-27 10:10:00 2024-03-25 11:08:00 1 404 Resource Not Found 998756 2024-03-25 12:08:00 2024-03-12 22:35:00 1 404 Resource Not Found 998756 2024-03-12 23:35:00 2024-03-12 20:32:00 1 404 Resource Not Found 998756 2024-03-12 21:32:00 2024-03-21 14:39:00 1 404 Resource Not Found 998756 2024-03-21 15:39:00 2024-03-20 19:35:00 1 404 Resource Not Found 998756 2024-03-20 20:35:00

表格存储服务 CLOUDTABLE 开发Doris冷热分离应用
表格存储服务 CLOUDTABLE-使用Doris冷热分离:开启冷热分离步骤

开启冷热分离步骤登录表格存储服务管理控制台。控制台左上角，选择区域。单击左侧“集群管理”，进入集群管理界面。单击集群管理界面右上角的“购买集群”。进入创建集群界面，在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮，创建后的集群就开启了冷热分离特性。创建集群可以参考创建Doris集群。如果在创建集群的时候未开启冷热分离特性，可在集群详请页面或者集群列表的操作列开启冷热分离。注意使用Doris集群不要长时间处于高负载（高CPU、高内存、高磁盘使用率等）状态，否则影响冷热分离的速率。如果业务需要可进行集群扩容，请参见扩容集群。

表格存储服务 CLOUDTABLE Doris冷热分离应用