检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用JDBC提交Spark SQL作业 获取服务端连接地址 下载JDBC驱动包 认证 使用JDBC提交作业 JDBC API参考 父主题： SQL作业开发指南
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文
创建并使用跨源链接 场景描述 本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口，具体请参考《虚拟私有云
硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 语法格式 1 2 3 4 5
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文
数。 约束限制 在DLI Console上执行UDAF相关操作时，需要使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。 授权操作参考如下：登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDAF
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
sc_type 推荐使用livy原生配置。 spark.dli.user.args args 推荐使用livy原生配置。 spark.submit.pyFiles python_files 推荐使用livy原生配置。 spark.files files 推荐使用livy原生配置。 spark
约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。 不同的IAM用户使用UDTF时，除了创建UDTF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDTF函数。授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDTF
使用SQL作业模板开发并提交SQL作业 为了便捷快速地执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。
在进行UDF开发前，请准备以下开发环境。 表1 UDF开发环境 准备项 说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系，您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant
该功能公测阶段，如需使用请提交工单申请开通“使用Spark作业访问DLI元数据”的使用权限。 约束限制 如果使用Spark 3.1访问元数据，则必须新建队列。 不支持的场景： 在SQL作业中创建了数据库（database），编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑器
拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的local_infile系统变量）。 是 使用Agent Agent功能待下线，无需配置。 - local_infile字符集
Flink SQL语法参考（不再演进，推荐使用Flink OpenSource SQL） Flink SQL语法约束与定义 Flink SQL语法概览 创建输入流 创建输出流 创建中间流 创建维表 自拓展生态 数据操作语句DML 数据类型 自定义函数 内置函数 地理函数 配置时间模型
单表分区数最多允许100000个。 创建OBS表的DataSource语法可以参考使用DataSource语法创建OBS表。 创建OBS表的Hive语法可以参考使用Hive语法创建OBS表。 使用DataSource语法创建OBS表 以下通过创建CSV格式的OBS表举例，创建其他
示例3：使用CTAS语句将源表的全部数据或部分数据创建新的DLI表 示例说明：根据示例1：创建DLI非分区表中创建的DLI表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即
示例3：使用CTAS语句将源表的全部数据或部分数据创建新的DLI表 示例说明：根据示例1：创建DLI非分区表中创建的DLI表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即
查看队列的使用者（废弃） 功能介绍 该API用于查询可以使用的指定队列的所有用户名称。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/queues/{queue_name}/users
查看表的使用者（废弃） 功能介绍 该API用于查看有权访问指定表或表的列的所有用户。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/databases/{database_n
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
