云服务器内容精选

华为云首页用户手册

ClickHouse冷热分离应用

表格存储服务 CLOUDTABLE-使用ClickHouse冷热分离:开启冷热分离步骤

开启冷热分离步骤登录表格存储服务管理控制台。控制台左上角，选择区域。单击左侧“集群管理”，进入集群管理界面。单击集群管理界面右上角的“购买集群”。进入创建集群界面，在集群购买页面选择ClickHouse数据库引擎并开启冷热分离特性，创建后的集群就开启了冷热分离特性。创建集群可以参考创建ClickHouse集群。如果在创建集群的时候未开启冷热分离特性，可在集群详请页面或者集群列表的操作列开启冷热分离。节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例，数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时，热存储中的数据将被自动的移动到冷存储中。图1 开启冷热分离

表格存储服务 CLOUDTABLE ClickHouse冷热分离应用
表格存储服务 CLOUDTABLE-冷热分离概述:原理介绍

原理介绍创建表：创建含有冷热分离策略的数据表，其中存储策略值必须为hot_to_cold。写数据：新数据会按照信息导入到对应的数据表中。在ClickHouse中，每次数据写入都会生成一个新的Part，以保证冷数据的Part在不受影响的情况下写入新数据，满足冷热数据同时存储的需求。冷热分离：数据存储在热存储上，随着容量或时间的推移往冷存储上迁移。ClickHouse的冷热分离粒度是基于Part的，当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据，之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。查询数据：用户在数据表上进行对应的查询，ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录，并根据不同表下Part信息下载查询所需的数据到本地进行运算。

表格存储服务 CLOUDTABLE ClickHouse冷热分离应用
表格存储服务 CLOUDTABLE-冷热分离概述:背景

背景在数据分析的实际场景中，冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多，如果我们将所有数据存储在本地，将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储，将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力，冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整，以满足不同场景的要求。冷热数据主要从数据访问频率、更新频率进行划分。 Hot（热数据）：访问、更新频率较高，未来被调用的概率较高的数据，对访问的响应时间要求很高的数据。 Cold（冷数据）：不允许更新或更新频率比较低，访问频率比较低，对访问的响应时间要求不高的数据。用户可以定义冷热管理表，将符合规则的冷数据切换至OBS上进行存储，可以按照分区自动进行冷热数据的判断和迁移。

表格存储服务 CLOUDTABLE ClickHouse冷热分离应用