Hudi表使用约束 Hudi表类型 Copy On Write 写时复制表也简称COW表,使用parquet文件存储数据,内部的更新操作需要通过重写原始parquet文件完成。 优点:读取时,只读取对应分区的一个数据文件即可,较为高效。 缺点:数据写入的时候,需要复制一个先前的副
join_condition 格式 说明 语法 描述 join_condition join逻辑判断条件。 and 逻辑运算符:与。 or 逻辑运算符:或。 not 逻辑运算符:非。 ( 子逻辑判断条件开始。 ) 子逻辑判断条件结束。 condition 逻辑判断条件。 const_set
last_value last_value函数用于取当前行所对应窗口的最后一条数据的值。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 last_value(<expr>[
Spark 3.3.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.3.1版本所做的变更说明。 更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间
离线Compaction配置 对于MOR表的实时业务,通常设置在写入中同步生成compaction计划,因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
Flink OpenSource SQL1.12语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表
first_value first_value函数用于取当前行所对应窗口的第一条数据的值。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 first_value(<expr>[
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一,该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型
集合运算SELECT UNION INTERSECT EXCEPT 父主题: SELECT
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,
DLI数据库和表类 为什么在DLI控制台中查询不到表? OBS表压缩率较高怎么办? 字符码不一致导致数据乱码怎么办? 删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败怎么办? 创建OB
DLI请求条件 您可以在创建自定义策略时,通过添加“请求条件”(Condition元素)来控制策略何时生效。请求条件包括条件键和运算符,条件键表示策略语句的 Condition 元素,分为全局级条件键和服务级条件键。全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服
逻辑运算符 常用的逻辑操作符有AND、OR和NOT,它们的运算结果有三个值,分别为TRUE、FALSE和NULL,其中NULL代表未知。优先级顺序为:NOT>AND>OR。 运算规则请参见表1,表中的A和B代表逻辑表达式。 表1 逻辑运算符 运算符 返回类型 描述 A AND B
数学运算函数 关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 Flink SQL提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型
DML 语法 INSERT 父主题: HetuEngine SQL语法
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。
其他函数 函数概览 decode1 javahash max_pt ordinal trans_array trunc_numeric url_decode url_encode 父主题: 内置函数
Delta DDL语法说明 CREATE TABLE DROP TABLE DESCRIBE ADD CONSTRAINT DROP CONSTRAINT CONVERT TO DELTA SHALLOW CLONE 父主题: Delta SQL语法参考
管理SQL作业 在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业,作业数量较多时,系统分页显示,可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。
您即将访问非华为云网站,请注意账号财产安全