检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SELECT 基本语句 排序 分组 连接 子句 别名SELECT 集合运算SELECT WITH...AS CASE...WHEN
创建并提交SQL作业 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索SQL语法参考》。 在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。
Flink OpenSource SQL1.12语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表
SQL作业运行慢如何定位 作业运行慢可以通过以下步骤进行排查处理。 可能原因1:FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致: 登录DLI控制台,单击“作业管理 > SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。
创建中间流 功能描述 中间流用来简化sql逻辑,若sql逻辑比较复杂,可以写多个sql语句,用中间流进行串接。中间流仅为逻辑意义上的流,不会产生数据存储。 语法格式 创建中间流语法格式如下: 1 CREATE TEMP STREAM stream_id (attr_name attr_type
删除SQL模板 功能介绍 该接口用于批量删除SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/sqls-deletion 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
BY time_attr [asc|desc]: 指定排序的列。所制定的列必须为时间属性。目前仅支持proctime。升序( ASC )排列指只保留第一行,而降序排列( DESC )则指保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。
使用SQL作业模板开发并提交SQL作业 为了便捷快速地执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。
项目编号,用于资源隔离。获取方式请参考获取项目ID。 sql_id 是 String SQL模板ID。 请求参数 表2 请求参数说明 名称 是否必选 参数类型 说明 sql 否 String 更新后SQL模板文本。 sql_name 否 String 更新后SQL模板名称,该名称在当前工程下必须唯一。
BY time_attr [asc|desc]: 指定排序的列。所制定的列必须为时间属性。目前仅支持proctime。升序( ASC )排列指只保留第一行,而降序排列( DESC )则指保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。
Flink SQL语法约束与定义 语法约束 当前Flink SQL只支持SELECT,FROM,WHERE,UNION,聚合,窗口,流表JOIN以及流流JOIN。 数据不能对Source流做insert into操作。 Sink流不能用来做查询操作。 语法支持范围 基础类型: V
@Override public void close() {} } 使用示例 UDTF支持CROSS JOIN和LEFT JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。
BY:可以用一个或多个键分区。和GROUP BY子句类似,PARTITION BY将表按分区键分区,每个分区是一个窗口,窗口函数作用于各个分区。单表分区数最多允许7000个。 ORDER BY:决定窗口函数求值的顺序。可以用一个或多个键排序。通过ASC或DESC决定升序或降序。窗口由WINDO
BY time_attr [asc|desc]: 指定排序的列。所制定的列必须为时间属性。目前仅支持proctime。升序( ASC )排列指只保留第一行,而降序排列( DESC )则指保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。
BY time_attr [asc|desc]: 指定排序的列。所制定的列必须为时间属性。目前仅支持proctime。升序( ASC )排列指只保留第一行,而降序排列( DESC )则指保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。
BY time_attr [asc|desc]: 指定排序的列。所制定的列必须为时间属性。目前仅支持proctime。升序( ASC )排列指只保留第一行,而降序排列( DESC )则指保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。
示执行失败的原因。 sql_id String 新增SQL模板的ID。 group String SQL模板分组名称。 请求示例 创建一个SQL模板。 { "sql": "select * from t1", "sql_name": "sql1", "description":
Integer 模板ID。 如果“template_id”和“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不为空,“sql_body”为空,选择“template_id”的内容填充“sql_body”。 queue_name 否 String
在“SQL模板”页面,勾选相应的模板,单击“操作”列的“执行”,将跳转至“SQL编辑器”页面,并在SQL作业编辑窗口中自动输入对应的SQL语句。 在SQL作业编辑窗口右上方,单击“执行”运行SQL语句,执行结束后,可以在SQL作业编辑窗口下方区域中查看执行结果。 查找SQL作业模板
能。DLI支持的SQL语法可以参考创建DLI表。 可以本地连接DLI吗?支持远程工具连接吗? 暂不支持。请在控制台提交作业。 详细操作请参考数据湖探索快速入门。 DLI SQL作业超过12h会被kill掉吗? 默认情况下,为了保障队列的稳定运行,超过12h的SQL作业会被系统按超时取消处理。