检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口,您可以使用该接口并选择相应的队列来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
怎样查看DLI的执行SQL记录? 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: SQL作业开发类
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
b, c, SUM(expression) FROM table GROUP BY a, b, c WITH ROLLUP;将转换成以下四条查询: (a, b, c)组合小计 1 2 SELECT a, b, c, sum(expression) FROM table GROUP
b, c, SUM(expression) FROM table GROUP BY a, b, c WITH ROLLUP;将转换成以下四条查询: (a, b, c)组合小计 1 2 SELECT a, b, c, sum(expression) FROM table GROUP
n] [ELSE else_result_expression] END; 关键字 boolean_expression:可以包含子查询,但整个boolean_expression表达式返回值只能是布尔类型。 注意事项 如果没有取值为TRUE的Boolean_express
n] [ELSE else_result_expression] END; 关键字 boolean_expression:可以包含子查询,但整个boolean_expression表达式返回值只能是布尔类型。 注意事项 如果没有取值为TRUE的Boolean_express
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
聚合函数 聚合函数是从一组输入值计算一个结果。例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。 示例数据:表T1 |score| |81 | |100 | |60 | |95 | |86 | 常用聚合函数 表1 常用聚合函数表 函数 返回值类型
聚合函数 聚合函数是从一组输入值计算一个结果。例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。 示例数据:表T1 |score| |81 | |100 | |60 | |95 | |86 | 常用聚合函数 表1 常用聚合函数表 函数 返回值类型
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
考《创建Spark作业》。 图1 查看Spark作业原始资源配置 查看Spark作业实时运行资源 查看Spark作业实时运行资源,即查看有多少CU正在运行。 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“操作”列中的“SparkUI”。
获取指定集群信息(废弃) 功能介绍 该API用于查询指定集群的信息,包括名称、描述以及绑定的计算资源数。 当前接口已废弃,不推荐使用。 URI URI格式: GET /v2.0/{project_id}/clusters/{cluster_name} 参数说明 表1 URI参数 名称
join 所指定的表在顺序执行中不会产生不支持的 cross join (笛卡儿积)以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置,以防止出现过多的状态。 示例 SELECT * FROM Orders INNER JOIN
单字段,多字段,也可以是聚合函数,字符串函数等。 注意事项 所要分组的表必须是已经存在的表,否则会出错。 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。HAVING与GROUP BY合用,先通过GROUP BY进行分
ECT,EXCEPT)加括号,否则会出错。 示例 返回“SELECT * FROM student _1”查询结果与“SELECT * FROM student _2”查询结果的并集,不包含重复记录。 1 SELECT * FROM student_1 UNION SELECT *
ORDER BY 功能描述 按字段实现查询结果的全局排序。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference ORDER BY col_name [ASC | DESC] [,col_name [ASC | DESC]
如何合并小文件 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 设置配置项。 spark.sql.shuffle.partitions = 分区数量(即此场景下最终生成的文件数量) 执行SQL。 INSERT OVERWRITE
ORDER BY 功能描述 按字段实现查询结果的全局排序。 语法格式 1 2 3 SELECT attr_expr_list FROM table_reference ORDER BY col_name [ASC | DESC] [,col_name [ASC | DESC]