MAPREDUCE服务 MRS-ClickHouse数据查询:数据查询建议

时间:2024-10-21 10:53:30

数据查询建议

  • 建议查询指定分区

    通过指定分区字段会减少底层数据库扫描的文件数量,提升查询性能,实际经验:700个分区的千列大表,需要查询一个分区中有7000万数据,其他699个分区中无数据,虽然只有一个分区有数据,其他分区无数据,但是查询指定分区为百毫秒级性能,没有指定分区查询性能为1~2秒左右,性能相差20倍。

  • 慎用final查询

    在查询语句的最后跟上final,通常是对于ReplacingMergeTree引擎,数据不能完全去重情况下,有些开发人员习惯写final关键字进行实时合并去重操作(merge-on-read),保证查询数据无重复数据。可以通过argMax函数或其他方式规避此问题。

support.huaweicloud.com/bestpractice-mrs/mrs_05_0101.html