检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令将现有的 Parquet 表就地转换为 Delta 表。 此命令会列出目录中的所有文件,创建 Delta Lake 事务日志来跟踪这些文件,并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息,以提升转换后的 Delta 表的查询性能。 如果
(origin_state, destination_state) 的可能分组为:(origin_state, destination_state),(origin_state),(destination_state),()。 SELECT origin_state, destination_state
EXISTS谓词确定是否返回任意行: SELECT name FROM nation WHERE EXISTS (SELECT * FROM region WHERE region.regionkey = nation.regionkey) IN 确定子查询生成的任意值是否等于给定
to_date to_date函数用于返回时间中的年月日。 相似函数:to_date1,to_date1函数用于将指定格式的字符串转换为日期值,支持指定转换的日期格式。 命令格式 to_date(string timestamp) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明
关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN 若A与B相等,返回TRUE,否则返回FALSE。用于做赋值操作。 A == B BOOLEAN 若A与B相
lower/lcase lower函数用于将文本字符串转换成字母全部小写的形式。 命令格式 lower(string A) / lcase(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回为STRING类型的值。
系统提示信息,执行成功时,信息为空。 connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0
系统提示信息,执行成功时,信息为空。 connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0
to_date1 to_date1函数用于将指定格式的字符串转换为日期值。 相似函数:to_date,to_date函数用于返回时间中的年月日,不支持指定转换的日期格式。 命令格式 to_date1(string date, string format) 参数说明 表1 参数说明
upper/ucase upper函数用于从将文本字符串转换成字母全部大写的形式。 命令格式 upper(string A) 或 ucase(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回STRING类型。
SELECT count(*), mktsegment, nationkey, CAST(sum(acctbal) AS bigint) AS totalbal FROM customer GROUP BY mktsegment, nationkey HAVING sum(acctbal)
r的init、iterate、terminatePartial、merge、terminate这几个函数。 init函数实现接口UDAFEvaluator的init函数。 iterate接收传入的参数,并进行内部的迭代。 terminatePartial无参数,其为iterate
理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
from_base, int to_base) conv(string num, int from_base, int to_base) 对num做进制转换操作,示例为从10进制转为2进制 select conv('123',10,2); -- 1111011 rand() → double
hex hex函数用于将整数或字符转换为十六进制格式。 命令格式 hex(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数
与基本结果集中最后一行的ORDER BY的参数一样: CREATE TABLE nation (name varchar, regionkey integer); insert into nation values ('ETHIOPIA',0),('MOROCCO',0),('ETHIOPIA'
Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
代表需要判断的字符串。 如果输入为BIGINT、DOUBLE、DECIMAL或DATETIME类型,会隐式转换为STRING类型后参与运算 格式为任意字符串。 format 是 STRING 代表需要转换的目标日期格式。 STRING类型常量,不支持日期扩展格式。 format:格式为代表年月日
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
储为STRING类型。 DATE DATE类型只能和DATE、TIMESTAMP和STRING进行显式转换(cast),具体如表2所示。 表2 cast函数转换 显式转换 转换结果 cast(date as date) 相同DATE值。 cast(timestamp as date)