表格存储服务 CLOUDTABLE-冷热分离概述:原理介绍

时间:2024-07-01 10:59:01

原理介绍

  • 创建表:CloudTable Doris通过文件系统在本地数据目录创建目录。
  • 写数据:调用文件系统相关功能,生成文件到本地数据目录下。
  • 合并数据:定期读取数据文件rowset,判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值,则文件不移动。如果当前时间减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。
  • 查询数据:用户在表上进行对应的查询时,Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径,并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。
support.huaweicloud.com/usermanual-cloudtable/zh-cn_topic_0000001902401548.html