MAPREDUCE服务 MRS-Doris数据查询规范:Doris数据查询建议

时间:2024-05-28 14:22:56

Doris数据查询建议

  • 一次insert into select数据超过1亿条后,建议拆分为多个insert into select语句执行,分成多个批次来执行。
  • 不要使用OR作为JOIN条件。
  • 不建议频繁的数据delete修改,将要删除的数据攒批,偶尔进行批量删除,且需要带上条件,提升系统稳定性和删除效率。
  • 大量数据排序(5亿以上)后返回部分数据,建议先减少数据范围再执行排序,否则大量排序会影响性能。例如:

    from table order by datatime desc limit 10优化为from table where datatime='2023-10-20' order by datatime desc limit 10

  • 查询任务性能调优参数parallel_fragment_exec_instance_num使用注意事项:

    此参数是session级别设置,表示可并发执行的fragment数量,对CPU消耗较大,因此一般情况下不需要设置此参数。如果需要设置此参数来加速查询性能,必须遵循以下规则:

    • 切勿设置该参数为全局生效,禁止使用set global方式进行设置。
    • 设置参数值建议为偶数2或4(最大值不要超过单节点CPU核数的一半)。
    • 设置此参数值时需要观察CPU使用率,CPU使用率小于50%时方可考虑设置。
    • 如果查询SQL是insert into select大数据量的方式,不建议设置此参数。
support.huaweicloud.com/devg-rule-mrs/mrs_07_450072.html