华为云用户手册

示例 该示例是从kafka数据源中读取数据，写入DWS结果表中，并指定攒批时间不超过10秒，每批数据最大30000条，其具体步骤如下： 在 GaussDB (DWS)数据库中创建表public.dws_order： 1 2 3 4 5 6 7 8 9 10 11 create table public.dws_order( order_id VARCHAR, order_channel VARCHAR, order_time VARCHAR, pay_amount FLOAT8, real_pay FLOAT8, pay_time VARCHAR, user_id VARCHAR, user_name VARCHAR, area_id VARCHAR ); 消费Kafka中order_test topic中的数据作为数据源，public.dws_order作为结果表，Kafka数据为JSON格式，并且字段名称和数据库字段名称一一对应： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 CREATE TABLE kafkaSource ( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string ) WITH ( 'connector' = 'kafka', 'topic' = 'order_test', 'properties.bootstrap.servers' = 'KafkaAddress1:KafkaPort,KafkaAddress2:KafkaPort', 'properties.group.id' = 'GroupId', 'scan.startup.mode' = 'latest-offset', 'format' = 'json' ); CREATE TABLE dwsSink ( order_id string, order_channel string, order_time string, pay_amount double, real_pay double, pay_time string, user_id string, user_name string, area_id string ) WITH ( 'connector' = 'dws', 'url' = 'jdbc:gaussdb://DWSAddress:DWSPort/DWSdbName', 'tableName' = 'dws_order', 'username' = 'DWSUserName', 'password' = 'DWSPassword', 'autoFlushMaxInterval' = '10s', 'autoFlushBatchSize' = '30000' ); insert into dwsSink select * from kafkaSource; 给Kafka写入测试数据： 1 {"order_id":"202103241000000001", "order_channel":"webShop", "order_time":"2021-03-24 10:00:00", "pay_amount":"100.00", "real_pay":"100.00", "pay_time":"2021-03-24 10:02:03", "user_id":"0001", "user_name":"Alice", "area_id":"330106"} 等10秒后在GaussDB(DWS)表中查询结果： 1 select * from dws_order 结果如下：

格式语法 SQL语法格式可能在不同Flink环境下有细微差异，具体以事件环境格式为准，with后面的参数名称及参数值以此文档为准。 1 2 3 4 5 6 7 8 9 10 11 12 create table dwsSink ( attr_name attr_type (',' attr_name attr_type)* (','PRIMARY KEY (attr_name, ...) NOT ENFORCED) ) with ( 'connector' = 'dws', 'url' = '', 'tableName' = '', 'username' = '', 'password' = '' );

常用操作：SQL作业参数设置 确保kyuubi的/conf/kyuubi-defaults.conf配置打开如下参数开关。 kyuubi.engine.dli.set.conf.transform.to.annotation=true 在sql语句的末尾添加注解参数。 set 参数 示例： set dli.sql.current.database=tpch set dli.sql.shuffle.partitions=10 在 DLI 的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图4 在DLI的SQL编辑器查看配置的参数

步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 下载JDK。 从Oracle官网下载并安装JDK1.8版本安装包。 本例使用jdk-8u261-linux-x64.tar.gz。 将jdk上传到linux服务器对应的目录下并执行解压命令，此处上传到/usr/local目录下。 sudo tar -xzf jdk-8u261-linux-x64.tar.gz -C /usr/local/ 配置环境变量。 编辑.bashrc或.profile文件，添加以下行： export JAVA_HOME=/usr/local/jdk-1.8.0_261 export PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version，检查是否安装成功，如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment (build 1.8.0_261-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode) 安装Kyuubi 访问Apache Kyuubi的下载Kyuubi安装包。了解更多Kyuubi安装操作。 解压下载的Kyuubi安装包。 tar -xzf kyuubi-{version}-bin.tar.gz 配置环境变量（可选）： 将Kyuubi的bin目录添加到PATH环境变量中，确保可以在任何位置调用Kyuubi的脚本。 配置Kyuubi连接DLI 在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi kyuubi-defaults.conf 配置项说明请参考表1。 表1 kyuubi配置参数说明 配置项 说明 是否必选 示例 kyuubi.engine.type JDBC服务类型。这里请指定为dli。 是 jdbc kyuubi.engine.jdbc.type 引擎类型。请使用dli。 是 dli kyuubi.engine.jdbc.driver.class 连接JDBC服务使用的驱动类名。请使用com.huawei.dli.jdbc.DliDriver 是 com.huawei.dli.jdbc.DliDriver kyuubi.engine.jdbc.connection.url JDBC服务连接的URL。 格式：jdbc:dli://{dliendpoint} /{projectId} 是 jdbc:dli://{dliendpoint} /{projectId} kyuubi.engine.jdbc.session.initialize.sql 用于指定在建立JDBC会话时执行的初始化SQL语句。 否 select 1 如果在DLI的管理控制台看到select 1，代表初始化成功。 kyuubi.frontend.protocols 用于指定Kyuubi服务支持的前端协议。Kyuubi支持多种前端协议，允许用户通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时，Kyuubi引擎如何展示数据源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。 如果配置为false，输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区 域名 称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection.queue DLI服务的队列名称。 是 dli_test kyuubi.engine.dli.jdbc.connection.database 用于指定Kyuubi引擎通过JDBC连接到DLI数据源时默认使用的数据库名称。 是 tpch kyuubi.engine.dli.jdbc.connection.ak AK/SK认证密钥。 如果使用AK/SK认证方式。 是 accesskey=your-access-key kyuubi.engine.dli.jdbc.connection.sk DLI的区域名称和服务名称。 如果使用AK/SK认证方式时配置。 是 secretkey=your-secret-key kyuubi.engine.dli.jdbc.connection.project DLI资源所在的项目ID。 是 0b33ea2a7e0010802fe4c009bb05076d kyuubi.engine.dli.sql.limit.time.sec SQL查询的执行时间限制。 默认600s 否 300 kyuubi.engine.dli.result.line.num.limit SQL查询的返回的最大条数。 默认返回10万条。 配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type 用于指定BI工具类型。 支持fine/ grafana/ superset/ tableau/ power/dbt/yongHong 是 fine kyuubi.engine.dli.boolean.type.to.int 定义DLI的Boolean类型数据是以1/0返回，还是true/false返回 当BI工具类型为Grafana时，需要设置为true。 true：按1/0返回（1：代表true，0：fales）。 false：按true/false返回。 默认取值false。 否 false kyuubi.engine.dli.set.conf.transform.to.annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。 否 true kyuubi.engine.dli.result.cache.enable 是否开启库表数据缓存，开启后自动缓存库表信息。默认为true。 true：开启 false：不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。 否 1000 kyuubi.engine.dli.cache.time.sec 配置缓存的时间。 默认为1800s。 否 1800 kyuubi.operation.incremental.collect kyuubi会预加载select结果数据到缓存加快读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存。 默认为1g，建议改成5g以上加大jdbc engine进程内存使用。 否 5g 快速启动kyuubi。 进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts 配置Kyuubi主机IP的映射关系。 执行ifconfig查看主机IP地址。 图2 查看主机IP地址 将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址

步骤3：配置Tableau使用ODBC连接到Kyuubi 单击并安装Tableau。获取Tableau安装包。 打开Tableau。 在开始页面的“连接”窗格中，选择您想要连接的数据源类型。本例选择Hive类型的数据连接。 配置数据连接信息。 连接：Hive 服务器：Kyuubi主机的IP地址。 端口：连接Kyuubi的端口，Hive Thrift协议对接，默认端口10009。 身份验证：本例选择用户名的认证方式。 用户名：Kyuubi用户名。 单击“登录”连接Kyuubi。

常用操作：SQL作业参数设置 在sql语句的末尾添加注解参数。 -- @set 参数 示例： -- @set dli.sql.current.database=tpch -- @set dli.sql.shuffle.partitions=10 图6 Tableau参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数

步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 下载JDK。 从Oracle官网下载并安装JDK1.8版本安装包。 本例使用jdk-8u261-linux-x64.tar.gz。 将jdk上传到linux服务器对应的目录下并执行解压命令，此处上传到/usr/local目录下。 sudo tar -xzf jdk-8u261-linux-x64.tar.gz -C /usr/local/ 配置环境变量。 编辑.bashrc或.profile文件，添加以下行： export JAVA_HOME=/usr/local/jdk-1.8.0_261 export PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version，检查是否安装成功，如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment (build 1.8.0_261-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode) 安装Kyuubi 访问Apache Kyuubi的下载Kyuubi安装包。了解更多Kyuubi安装操作。 解压下载的Kyuubi安装包。 tar -xzf kyuubi-{version}-bin.tar.gz 配置环境变量（可选）： 将Kyuubi的bin目录添加到PATH环境变量中，确保可以在任何位置调用Kyuubi的脚本。 配置Kyuubi连接DLI 在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi kyuubi-defaults.conf 配置项说明请参考表1。 表1 kyuubi配置参数说明 配置项 说明 是否必选 示例 kyuubi.engine.type JDBC服务类型。这里请指定为dli。 是 jdbc kyuubi.engine.jdbc.type 引擎类型。请使用dli。 是 dli kyuubi.engine.jdbc.driver.class 连接JDBC服务使用的驱动类名。请使用com.huawei.dli.jdbc.DliDriver 是 com.huawei.dli.jdbc.DliDriver kyuubi.engine.jdbc.connection.url JDBC服务连接的URL。 格式：jdbc:dli://{dliendpoint} /{projectId} 是 jdbc:dli://{dliendpoint} /{projectId} kyuubi.engine.jdbc.session.initialize.sql 用于指定在建立JDBC会话时执行的初始化SQL语句。 否 select 1 如果在DLI的管理控制台看到select 1，代表初始化成功。 kyuubi.frontend.protocols 用于指定Kyuubi服务支持的前端协议。Kyuubi支持多种前端协议，允许用户通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时，Kyuubi引擎如何展示数据源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。 如果配置为false，输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection.queue DLI服务的队列名称。 是 dli_test kyuubi.engine.dli.jdbc.connection.database 用于指定Kyuubi引擎通过JDBC连接到DLI数据源时默认使用的数据库名称。 是 tpch kyuubi.engine.dli.jdbc.connection.ak AK/SK认证密钥。 如果使用AK/SK认证方式。 是 accesskey=your-access-key kyuubi.engine.dli.jdbc.connection.sk DLI的区域名称和服务名称。 如果使用AK/SK认证方式时配置。 是 secretkey=your-secret-key kyuubi.engine.dli.jdbc.connection.project DLI资源所在的项目ID。 是 0b33ea2a7e0010802fe4c009bb05076d kyuubi.engine.dli.sql.limit.time.sec SQL查询的执行时间限制。 默认600s 否 300 kyuubi.engine.dli.result.line.num.limit SQL查询的返回的最大条数。 默认返回10万条。 配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type 用于指定BI工具类型。 支持fine/ grafana/ superset/ tableau/ power/dbt/yongHong 是 fine kyuubi.engine.dli.boolean.type.to.int 定义DLI的Boolean类型数据是以1/0返回，还是true/false返回 当BI工具类型为Grafana时，需要设置为true。 true：按1/0返回（1：代表true，0：fales）。 false：按true/false返回。 默认取值false。 否 false kyuubi.engine.dli.set.conf.transform.to.annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。 否 true kyuubi.engine.dli.result.cache.enable 是否开启库表数据缓存，开启后自动缓存库表信息。默认为true。 true：开启 false：不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。 否 1000 kyuubi.engine.dli.cache.time.sec 配置缓存的时间。 默认为1800s。 否 1800 kyuubi.operation.incremental.collect kyuubi会预加载select结果数据到缓存加快读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存。 默认为1g，建议改成5g以上加大jdbc engine进程内存使用。 否 5g 快速启动kyuubi。 进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts 配置Kyuubi主机IP的映射关系。 执行ifconfig查看主机IP地址。 图2 查看主机IP地址 将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址

步骤1：安装SuperSet并配置数据连接驱动 下载并安装SuperSet。 详细安装操作指导请参考安装Superset 以Docker安装Superset为例： 安装Docker，确保当前主机系统上安装了Docker。 拉取Superset Docker镜像： docker pull apache/superset 启动Superset容器： docker run -p 8088:8088 apache/superset 启动Superset容器，并将容器的8088端口映射到宿主机的8088端口。 访问Superset： 在浏览器中访问http://IP:8088 (IP为superset部署的机器)，使用在安装Superset时设置的用户名和密码登录Superset。 在Superset中安装和配置DLI驱动以连接数据库。 驱动需要放置在Superset的类路径中，例如superset-classpath目录。 解压安装包后，在Superset客户端中安装DLI驱动。 执行Python setup.py install，把dli-sdk-python安装到本地环境。 图1 在SuperSet客户端中安装JDBC驱动 完成驱动安装和配置后，需要重启Superset服务以确保安装的驱动生效。

操作前准备 获取Superset安装包 获取Superset安装包：安装Superset。 安装Superset的操作指导：Superset官网。 获取DLI的JDBC驱动 单击dli-sdk-python获取驱动安装包。 准备连接信息 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

常用操作：SQL作业参数设置 确保kyuubi的/conf/kyuubi-defaults.conf配置打开如下参数开关。 kyuubi.engine.dli.set.conf.transform.to.annotation=true 在sql语句的末尾添加注解参数。 set 参数 示例： set dli.sql.current.database=tpch set dli.sql.shuffle.partitions=10 图6 FineBI参数配置示例 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数

步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 下载JDK。 从Oracle官网下载并安装JDK1.8版本安装包。 本例使用jdk-8u261-linux-x64.tar.gz。 将jdk上传到linux服务器对应的目录下并执行解压命令，此处上传到/usr/local目录下。 sudo tar -xzf jdk-8u261-linux-x64.tar.gz -C /usr/local/ 配置环境变量。 编辑.bashrc或.profile文件，添加以下行： export JAVA_HOME=/usr/local/jdk-1.8.0_261 export PATH=$PATH:$JAVA_HOME/bin 执行以下命令应用环境变量。 source ~/.bashrc 执行命令java -version，检查是否安装成功，如下显示版本号信息说明java环境安装成功。 java version "1.8.0_261" Java(TM) SE Runtime Environment (build 1.8.0_261-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode) 安装Kyuubi 访问Apache Kyuubi的下载Kyuubi安装包。了解更多Kyuubi安装操作。 解压下载的Kyuubi安装包。 tar -xzf kyuubi-{version}-bin.tar.gz 配置环境变量（可选）： 将Kyuubi的bin目录添加到PATH环境变量中，确保可以在任何位置调用Kyuubi的脚本。 配置Kyuubi连接DLI 在Kyuubi的根目录下添加DLI驱动。 在“DLI SDK DOWNLOAD”页面，单击Kyuubi驱动包链接，下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi kyuubi-defaults.conf 配置项说明请参考表1。 表1 kyuubi配置参数说明 配置项 说明 是否必选 示例 kyuubi.engine.type JDBC服务类型。这里请指定为dli。 是 jdbc kyuubi.engine.jdbc.type 引擎类型。请使用dli。 是 dli kyuubi.engine.jdbc.driver.class 连接JDBC服务使用的驱动类名。请使用com.huawei.dli.jdbc.DliDriver 是 com.huawei.dli.jdbc.DliDriver kyuubi.engine.jdbc.connection.url JDBC服务连接的URL。 格式：jdbc:dli://{dliendpoint} /{projectId} 是 jdbc:dli://{dliendpoint} /{projectId} kyuubi.engine.jdbc.session.initialize.sql 用于指定在建立JDBC会话时执行的初始化SQL语句。 否 select 1 如果在DLI的管理控制台看到select 1，代表初始化成功。 kyuubi.frontend.protocols 用于指定Kyuubi服务支持的前端协议。Kyuubi支持多种前端协议，允许用户通过不同的接口与Kyuubi进行交互。 是 mysql thrift_binary kyuubi.engine.dli.schema.show.name 用于指定当用户执行show schemas或show databases语句时，Kyuubi引擎如何展示数据源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。 如果配置为false，输出为default的格式。 否 true false kyuubi.engine.dli.jdbc.connection.region DLI的区域名称和服务名称。 是 regionname=ap-southeast-2 kyuubi.engine.dli.jdbc.connection.queue DLI服务的队列名称。 是 dli_test kyuubi.engine.dli.jdbc.connection.database 用于指定Kyuubi引擎通过JDBC连接到DLI数据源时默认使用的数据库名称。 是 tpch kyuubi.engine.dli.jdbc.connection.ak AK/SK认证密钥。 如果使用AK/SK认证方式。 是 accesskey=your-access-key kyuubi.engine.dli.jdbc.connection.sk DLI的区域名称和服务名称。 如果使用AK/SK认证方式时配置。 是 secretkey=your-secret-key kyuubi.engine.dli.jdbc.connection.project DLI资源所在的项目ID。 是 0b33ea2a7e0010802fe4c009bb05076d kyuubi.engine.dli.sql.limit.time.sec SQL查询的执行时间限制。 默认600s 否 300 kyuubi.engine.dli.result.line.num.limit SQL查询的返回的最大条数。 默认返回10万条。 配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine.dli.small.file.merge 配置是否开启小文件自动合并。默认为false，代表不开启。 true：开启 false：不开启 是 true kyuubi.engine.dli.bi.type 用于指定BI工具类型。 支持fine/ grafana/ superset/ tableau/ power/dbt/yongHong 是 fine kyuubi.engine.dli.boolean.type.to.int 定义DLI的Boolean类型数据是以1/0返回，还是true/false返回 当BI工具类型为Grafana时，需要设置为true。 true：按1/0返回（1：代表true，0：fales）。 false：按true/false返回。 默认取值false。 否 false kyuubi.engine.dli.set.conf.transform.to.annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。 否 true kyuubi.engine.dli.result.cache.enable 是否开启库表数据缓存，开启后自动缓存库表信息。默认为true。 true：开启 false：不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。 否 1000 kyuubi.engine.dli.cache.time.sec 配置缓存的时间。 默认为1800s。 否 1800 kyuubi.operation.incremental.collect kyuubi会预加载select结果数据到缓存加快读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存。 默认为1g，建议改成5g以上加大jdbc engine进程内存使用。 否 5g 快速启动kyuubi。 进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查询来测试Kyuubi与DLI的连接是否正常工作。 （可选）配置主机的host文件提高Kyuubi的访问效率 为了提高Kyuubi的访问效率，建议在主机的/etc/hosts 配置Kyuubi主机IP的映射关系。 执行ifconfig查看主机IP地址。 图2 查看主机IP地址 将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址

步骤2：配置Power BI使用ODBC连接到DLI 单击并安装PowerBI。获取PowerBI安装包，请选择Windows X64位系统的安装包。 打开Power BI Desktop。 单击“主页”选项卡下的“获取数据”按钮。 在“获取数据”窗口中，选择“更多...”以查看其他数据源选项。 从列表中选择“ODBC”作为数据源类型，然后单击“连接”。 在弹出的“ODBC驱动管理器”窗口中，选择步骤1：配置ODBC配置的ODBC数据源名称，单击“确定”。 Power BI将使用ODBC连接到DLI，并允许您预览和选择数据库中的表和视图。 在预览库表时请选择limit，否则分区表将全表扫描。

操作前准备 环境要求： 确保您的系统环境满足以下要求。 操作系统：仅支持Windows 10, Windows 11版本x64位操作系统。 Power BI不支持解析复杂类型字段：Map、Struct、Array。 工具包： DLI的ODBC驱动：dli-odbc-xxx-setup-x64.exe PowerBI安装包：PowerBI安装包，请选择Windows X64位系统的安装包。 准备连接信息 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

操作前准备 环境要求： 已安装YongHong BI。 DLI的JDBC驱动： 单击dli-jdbc-x.x.x.jar获取JDBC驱动，驱动名称：huaweicloud-dli-jdbc-xxx-dependencies.jar。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

步骤2：在YongHong BI创建DLI的数据集 在YongHong BI SaaS生产环境主页，单击左侧导航栏中的“创建数据集”。 图2 创建数据集 在“数据集类型”页面中，选择创建“SQL数据集”，请参见图3。 图3 创建SQL数据集 在“创建数据集”页面中，左侧“数据源”栏选择已添加的DLI数据源，请参见图4。 图4 选择数据源 左侧“表”栏中单击右键，刷新表，将列出所有数据库及数据库下面的数据表（这是添加数据源时，“表结构模式”没有配置时的情况），请参见图5。 图5 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select * from table_name“，单击“刷新元数据”，再单击右侧“预览数据”栏下左侧的“预览元数据”，可查询出该表的元数据（包括字段，字段类型等），请参见图6。 图6 查询数据表 单击右侧“预览数据”栏下右侧的“数据细节”，可查询出该表的数据，请参见图7。 图7 查询数据表数据 在“创建数据集”页面工具栏中单击“保存”，完成创建数据集。 在YongHong BI连接DLI数据源并创建和数据集后，即可在YongHong BI中按需制作BI图表。

步骤4：创建Dashboard并提交SQL查询 在Grafana主界面，单击“+ New”创建一个新的Dashboard。 添加一个新的Panel，选择适合您数据的图表类型。 在Panel的设置中，选择刚才配置的dli-datasource作为数据源。 输入您的SQL查询语句，预览查询结果，调整图表设置以满足您的需求。 保存Panel和Dashboard，就通过这个Dashboard来监控和分析DLI中的数据。 图2 在Dashboard中提交SQL查询

步骤1：在Grafana中安装dli-grafana驱动 从DLI控制台获取dli-grafana插件。 将下载并解压的dli-grafana插件dist目录下的所有文件放置到Grafana安装目录下的data/plugins/dli-datasource 文件夹中。 在Grafana安装目录下的data/defaults.ini 文件中，设置以下参数以允许加载未签名的驱动。 allow_loading_unsigned_plugins = dli-datasource 重启Grafana服务加载dli-grafana驱动。

操作前准备 环境要求： 确保您的系统环境满足以下要求。 操作系统：Windows 或 Linux 操作系统结构：WindowsAMD64, LinuxAMD64, LinuxARM64, DarwinAMD64 已安装Go语言环境。 Go语言版本：大于1.20，通过执行命令go env来查询当前Go环境的配置信息。 工具包： DLI的Grafana驱动：dli-grafana Grafana安装包： 访问Grafana官网下载页面：Download Grafana。 选择适合您操作系统的Grafana版本，建议选择版本高于11.0.0的版本。 下载并解压Grafana安装包，根据官方文档指导完成安装。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

步骤3：配置Grafana连接DLI 在Grafana的侧边菜单中，单击“Data Sources”。 单击“Add data source”按钮，选择“dli-datasource”作为数据源类型。 参考图1配置Grafana连接DLI： 表2 Grafana连接DLI参数说明 参数 是否必选 说明 配置样例 Region 是 DLI的区域名称和服务名称。 ap-southeast-2 Project Id 是 DLI资源所在的项目ID。 获取项目ID 0b33ea2a7e0010802fe4c009bb05076d Catalog Name 是 元数据catalog名称。 使用Lakeformation catalog时必填，对应的Lakeformation catalog名称。 查询Lakeformation catalog时， catalog下面必须有 default数据库。 不填写时默认DLI catalog，使用DLI catalog时无需配置该参数。 否 假设使用名称为lfcatalog的Lakeformation catalog时，配置如下：catalog=lfcatalog Database Name 是 提交作业使用的DLI的数据库名称。 tpch Queue Name 是 DLI服务的队列名称。 dli_test Engine Type 是 选择DLI队列的类型，可以是spark或trino。 spark AK和SK 是 AK/SK认证密钥。 - 图1 Grafana配置示例 完成配置后，单击“Save & Test”按钮以验证连接是否成功。

步骤1：部署DBT环境 安装dbt-core 使用pip安装建议版本的dbt-core： pip install dbt-core==1.7.9 pip是Python的包管理工具，通常与Python一起安装。 如果尚未安装pip，可以通过Python内置的ensurepip模块安装： python -m ensurepip 安装dli-sdk-python 执行安装命令： python setup.py install 安装dli-dbt 从DLI管理控制台下载dli-dbt驱动。 执行安装命令： python setup.py install 安装完成后，可以通过运行以下命令来验证dbt是否正确安装： dbt --version

步骤3：测试使用DBT提交作业至DLI 初始化DBT项目 在空目录下执行以下命令以初始化DBT项目： dbt init 配置dbt_project.yml文件 在项目根目录下创建或编辑 dbt_project.yml文件。 参考dbt_project.yml配置项目。 确保步骤2：配置DBT连接DLIprofile文件中已设置该项目的profiles.yml中定义的数据源名称。 图1 profile文件 图2 dbt_project.yml文件中配置的profile 验证配置 执行以下命令测试DBT配置是否正确： dbt debug 执行项目作业 测试通过后执行以下命令来执行您的数据模型。 dbt run

操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统：Windows 或 Linux DBT是一个基于Python的工具，请确保已安装了Python。 Python 版本：Python 3.8 或更高版本，推荐使用 Python 3.8 获取dli-dbt驱动包： 单击dli-jdbc-x.x.x.jar获取JDBC驱动，驱动名称：huaweicloud-dli-jdbc-xxx-dependencies.jar。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

步骤2：配置DBT连接DLI 配置profiles.yml文件用于保存DBT与DLI的连接信息。 在安装DBT的服务器的主目录下找到 .dbt 目录，创建或编辑 profiles.yml 文件。 例如，在Windows系统中，路径可能是 C:\Users\用户名\.dbt\profiles.yml。 配置文件内容应包含DBT与DLI的连接配置，例如： profiles: - name: dbt_dli target: dev outputs: dev: type: dli region: your-region-name project_id: your-project_id access_id：your-ak secret_key：your-sk queue：your-queue-name database: your-dli-database schema: your-dli-schema 表2 DBT连接DLI参数说明 参数 是否必选 说明 配置样例 type 是 数据源类型，本例配置为dli。 dli region 是 DLI的区域名称和服务名称。 ap-southeast-2 project_id 是 DLI资源所在的项目ID。 获取项目ID 0b33ea2a7e0010802fe4c009bb05076d access_id和secret_key 是 AK/SK认证密钥。 - queue 是 DLI服务的队列名称。 dli_test database 是 数据目录名称。默认使用dli数据目录。 如果使用Lakeformation元数据，填写具体的数据目录名称。 dli schema 是 提交作业使用的DLI的数据库名称。 tpch

操作前准备 工具包 DLI的JDBC驱动： 单击dli-jdbc-x.x.x.jar获取JDBC驱动，驱动名称：huaweicloud-dli-jdbc-xxx-dependencies.jar。 DBeaver客户端安装包： DBeaver官网提供了针对不同操作系统的客户端安装包，单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息 DLI所属区域信息 地区和终端节点

BI工具连接DLI方案概述 BI工具是数据分析的强大助手，提供 数据可视化 、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理，可以为BI工具提供标准的、有效的高质量数据，供给后续的数据统计分析使用。 通过连接到DLI，BI工具可以更加灵活的使用DLI访问和分析数据，帮助企业快速做出基于数据的决策。 DLI为BI工具提供了便捷的连接方法： DBeaver、DBT和YongHong BI，可以直接通过DLI提供的驱动连接到DLI。这简化了配置过程，使得用户能够直接利用这些工具的强大功能。 PowerBI、Fine BI、SuperSet、Tableau和Beeline，它们可以通过Kyuubi建立与DLI的连接。Kyuubi是一个分布式SQL查询引擎，提供了标准的SQL接口，使得BI工具能够通过Kyuubi与DLI进行交互，执行数据查询和分析。 BI工具连接DLI的方案中使用了DLI SDK V2。 2024年5月起，新用户可以直接使用DLI SDK V2，无需开通白名单。 对于2024年5月之前开通并使用DLI服务的用户，如需使用“DLI SDK V2”功能，必须提交工单申请加入白名单。 父主题： 使用BI工具连接DLI分析数据

开启SQL防御 大数据平台使用SQL进行数据分析和处理，提升了数据分析的易用性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力，基于用户可理解的SQL防御策略，实现对典型大SQL、低质量SQL的主动防御，包括事前提示、拦截和事中熔断，并不强制改变用户的SQL提交方式、SQL语法，对业务零改动且易落地。 相关操作链接：配置SQL防御规则

使用委托访问外部服务 各云服务之间存在业务交互关系，一些云服务需要与其他云服务协同工作，需要您创建云服务委托，将操作权限委托给DLI服务，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。例如：在DLI新建Flink作业所需的AKSK存储在 数据加密 服务DEW中，如需允许DLI在执行作业时访问DEW数据，需要提供 IAM 委托将DEW数据操作权限委托给DLI，允许DLI服务以您的身份访问DEW服务。

步骤5：配置NAT网关 创建NAT网关。 登录控制台，在“服务列表”搜索“NAT网关”，进入网络控制台页面。 单击“购买公网NAT网关”，配置NAT网关的相关信息。 详细请参考《NAT网关用户指南》中“购买公网NAT网关”。 图4 购买NAT网关 配置完成后，单击“立即购买”。 “虚拟私有云”为步骤1：创建VPC创建的VPC。 添加路由。 进入VPC的路由表，配置路由规则。通常NAT创建成功会自动创建到NAT网关的路由。 目的地址为访问的公网IP地址，下一跳为NAT网关。 图5 添加路由 添加SNAT规则。 为新建的NAT网关添加SNAT规则，才能实现该子网下的主机与Internet互相访问。 NAT网关购买成功后，在NAT控制台，单击购买成功的NAT网关“名称”，进入NAT网关详情页面。 选择“SNAT规则”页签，单击“添加SNAT规则”。 详细请参考《NAT网关用户指南》中“添加SNAT规则”。 使用场景选择云专线/云连接。 添加专属队列所在的网段。 绑定对应的弹性公网IP。 图6 添加SNAT规则 添加完成后，单击“确定”。

前提条件 已创建DLI队列。创建队列详见创建DLI队列操作指导。 队列的计费类型必须为：“包年/包月”，“按需计费”（按需计费需勾选“专属资源模式”。） 仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源连接。 已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。 表1 创建各外部数据源参考 服务名 参考文档 RDS 购买RDS for MySQ L实例 DWS 创建DWS集群 DMS Kafka 创建Kafka实例 CSS 创建 CS S集群 MRS 创建MRS集群 绑定跨源的DLI队列网段和其他数据源子网网段不能重合。 系统default队列不支持创建跨源连接。

最佳实践内容概览 表1 DLI最佳实践 方案 说明 使用DLI分析车联网场景驾驶行为数据 使用DLI进行车联网场景驾驶行为数据分析。 使用DLI将CSV数据转换为Parquet数据 使用DLI将CSV数据转换为Parquet数据的方法。 使用DLI分析电商BI报表 以某商城真实的用户、商品、评论数据（脱敏后）为基础，介绍使用DLI进行电商BI报表分析的方法。 使用DLI分析账单消费数据 以DLI实际消费数据为样例，介绍使用DLI进行账单分析和成本优化的措施。 使用DLI分析电商实时业务数据 使用DLI Flink完成电商业务实时数据的分析处理。 配置DBeaver连接DLI进行数据查询和分析 介绍DBeaver连接DLI并提交SQL查询的操作步骤。 配置DBT连接DLI进行数据调度和分析 介绍使用DBT提交DLI作业的操作步骤。 配置YongHong BI连接DLI进行数据查询和分析 介绍YongHong BI连接DLI的操作步骤。 配置Superset连接DLI进行数据查询和分析 介绍Superset连接DLI的操作步骤。 配置Power BI连接DLI进行数据查询和分析 介绍PowerBI连接DLI，访问和分析DLI中的数据的操作步骤。 配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 介绍Fine BI基于Kyuubi连接DLI的操作步骤。 配置Tableau通过Kyuubi连接DLI进行数据查询和分析 介绍Tableau基于Kyuubi连接DLI的操作步骤。 配置Beeline通过Kyuubi连接DLI进行数据查询和分析 介绍Beeline基于Kyuubi连接DLI的操作步骤。 配置DLI队列与内网数据源的网络联通 介绍内网环境打通DLI和外部数据源之间的网络的操作实践。 配置DLI 队列与公网网络联通 介绍通过配置SNAT规则，添加到公网的路由信息，实现队列到和公网的网络打通的实践方案。