检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库相关 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7 8 def create_db(dli_client): try: db = dli_client.create_database('db_for_test')
数据库相关 创建数据库 删除数据库 查看指定数据库 查看所有数据库
数据定义语句DDL 创建源表 创建结果表 创建维表 父主题: Flink Opensource SQL1.10语法参考
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.10语法参考
数据操作语句DML SELECT 集合操作 窗口 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.12语法参考
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
数据定义语句DDL 创建源表 创建结果表 创建维表 Format 父主题: Flink Opensource SQL1.12语法参考
数据库相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7
数据类型介绍 目前使用Hetu引擎建表时支持的数据类型有:tinyint,smallint,bigint,int,boolean,real,decimal,double,varchar,string,binary,varbinary,timestamp,date,char,arr
DLI Delta元数据 在DLI中提交Spark SQL作业开发Delta的SQL语法请参考Delta SQL语法参考。 在DLI中提交Spark Jar作业开发Delta请参考在DLI使用Delta提交Spark Jar作业。 DLI Delta元数据说明 创建Delta表时会在元数据仓创建表的相关元数据信息。
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据(仅Spark 3.3.1及以上版本支持对接Lakeformation元数据),对接方式与Spark一致。 DL
数据操作语句DML SELECT INSERT INTO 集合操作 窗口 分组聚合 Over聚合 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.15语法参考
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文
使用Hive语法创建OBS表 功能描述 使用Hive语法创建OBS表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫
句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击,影响系统的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力,基于用户可理解的SQL防御策略,实现对典型大SQL、低质量SQL的主动防御,包
使用Hive语法创建DLI表 功能描述 使用Hive语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 Hive DLI表不支持在建表时指定多字符的分隔符。
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
删除数据库 功能描述 删除数据库。 语法格式 1 DROP [DATABASE | SCHEMA] [IF EXISTS] db_name [RESTRICT|CASCADE]; 关键字 IF EXISTS:所需删除的数据库不存在时使用,可避免系统报错。 注意事项 DATABA