检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理
常用的有中位数(即二分位数)、四分位数、百分位数等。quantile digest是一个分位数的集合,当需要查询的数据落在某个分位数附近时,就可以用这个分位数做为要查询数据的近似值。它的精度可以调节,但更高精度的结果会带来空间的昂贵开销。 STRUCT 底层用ROW实现,参照ROW。
左半连接 功能描述 左半连接用来查看左表中符合JOIN条件的记录。 语法格式 1 2 SELECT attr_expr_list FROM table_reference LEFT SEMI JOIN table_reference ON join_condition; 关键字
WITH...AS 功能描述 通过用WITH...AS定义公共表达式(CTE)来简化查询,提高可阅读性和易维护性。 语法格式 1 WITH cte_name AS (select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。
上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业:配置Spark作业访问OBS中存储的数据。 提交Spark作业:完成作业编写后,提交并执行作业。 父主题:
添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题: SQL作业开发类
该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 确认桶是否应用于其他业务功能。
语法生成的虚拟列。它由使用同一表中其他列的非查询表达式生成,并且不会在表中进行物理存储。例如,一个计算列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的use
INSERT INTO map_test VALUES ('test6',map('math',88,'chemistry',80)); 查询结果。 查询“map_test”表里的所有数据。 SELECT * FROM map_test; test6 {"chemistry":80,"math":88}
在Flink作业管理页面,将鼠标悬停到提交失败的作业状态上,查看失败的简要信息。 常见的失败原因可能包括: CU资源不足:需扩容队列。 生成jar包失败:检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误,可以进一步单击作业名称,进入到作业详情页面,选择“提交日志”页签,查看作业提交日志。 父主题: Flink
15:00:00"} 查看输出结果: 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。
下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。
cn-north-1.myhuaweicloud.com/jarname.jar" group_name:资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9
GRANT_PRIVILEGE 队列的赋权 √ × √ √ REVOKE_PRIVILEGE 队列权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROP_DATABASE 删除数据库 √ × √ √ CREATE_TABLE 创建表 √
table查看建表语句报错DLI.0005: Operation not allowed: `SHOW CREATE TABLE` is not supported for Delta tables 根因分析:不支持该语法,可通过Describe formatted查看表结构。 执行vacuum报错DLI
" + table.getTableName()); } } 表删除后,将不可恢复,请谨慎操作。 查询所有表 DLI提供创建查询表的接口。您可以使用该接口查询数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 private static void listTables(Database
窗口函数 窗口函数跨查询结果的行执行计算。它们在HAVING子句之后但在ORDER BY子句之前运行。调用窗口函数需要使用OVER子句来指定窗口的特殊语法。窗口具有三个组成部分: 分区规范,它将输入行分为不同的分区。这类似于GROUP BY子句如何将行分为聚合函数的不同组。 排序
下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。
A对B取余数,结果数据之类与操作数据类型相关。 A & B 所有数字类型 查看两个参数的二进制表示法的值,并执行按位”与”操作。两个表达式的一位均为1时,则结果的该位为1。否则,结果的该位为0。 A | B 所有数字类型 查看两个参数的二进制表示法的值,并执行按位”或”操作。只要任一表达式的一位为1,则结果的该位为