数据湖探索 DLI-配置PowerBI通过Kyuubi连接DLI进行数据查询和分析:常用操作:SQL作业参数设置

时间:2024-12-27 15:00:10

常用操作:SQL作业参数设置

根据安装ODBC驱动类型选择配置方法:

  • 使用Cloudera Hive ODBC (v2.5.12)驱动
    只需在sql语句的末尾添加注解参数。
    -- @set 参数
    示例:
    -- @set dli.sql.current.database=tpch
    -- @set dli.sql.shuffle.partitions=100
    图6 ODBC配置参数示例(Cloudera Hive ODBC)
  • 使用Microsoft Hive ODBC (v2.6.12.1012)驱动
    1. 确保kyuubi的/conf/kyuubi-defaults.conf配置打开如下参数开关。
      kyuubi.engine.dli.set.conf.transform.to.annotation=true
      kyuubi.engine.dli.set.conf.sql.suffix=true
    2. 在sql语句的末尾添加注解参数。
      set 参数
      示例:
      set dli.sql.current.database=tpch
      set dli.sql.shuffle.partitions=100
      图7 ODBC配置参数示例(Microsoft Hive ODBC)

DLI 的SQL编辑器的执行效果:

图8 在DLI的SQL编辑器查看配置的参数
support.huaweicloud.com/bestpractice-dli/dli_05_0076.html