表格存储服务 CLOUDTABLE-冷热分离概述:原理介绍

时间:2024-06-21 12:10:21

原理介绍

  • 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。
  • 写数据:新数据会按照信息导入到对应的数据表中。在ClickHouse中,每次数据写入都会生成一个新的Part,以保证冷数据的Part在不受影响的情况下写入新数据,满足冷热数据同时存储的需求。
  • 冷热分离:数据存储在热存储上,随着容量或时间的推移往冷存储上迁移。ClickHouse的冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。
  • 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。
support.huaweicloud.com/usermanual-cloudtable/zh-cn_topic_0000001902578126.html