检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Schema演进语法说明 功能介绍 该能力用于支持Spark SQL对Hudi表的列进行Alter变更,使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围: 支持列(包括嵌套列)相关的增、删、改、位置调整等操作。 不支持对分区列做演进。
DLI Hudi开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题: DLI Hudi开发规范
Spark datasource API语法参考 Spark jar作业提交方式请参考在DLI使用Hudi提交Spark Jar作业 API语法说明 Hudi锁配置说明
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题: DLI Hudi开发规范
DLI中使用Hudi开发作业 在DLI使用Hudi提交Spark SQL作业 在DLI使用Hudi提交Spark Jar作业 在DLI使用Hudi提交Flink SQL作业 使用HetuEngine on Hudi
对接OpenTSDB scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题: 使用Spark作业跨源访问数据源
对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
集合函数 函数说明 表1 集合函数说明 集合函数 函数说明 CARDINALITY(array) 返回数组中元素个数 array ‘[’ integer ‘]’ 返回数组索引为integer的元素。索引从1开始 ELEMENT(array) 返回数组中的唯一元素。 若数组为空,则返回null
Flink Opensource SQL1.12语法参考 SQL语法约束与定义 Flink OpenSource SQL1.12语法概览 数据定义语句DDL 数据操作语句DML 函数
SQL语法约束与定义 语法支持类型 语法定义 父主题: Flink Opensource SQL1.12语法参考
DDL语法定义 CREATE TABLE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: 语法定义
创建维表 DWS维表 Hbase维表 JDBC维表 Redis维表 父主题: 数据定义语句DDL
集合函数 函数说明 表1 集合函数说明 集合函数 函数说明 CARDINALITY(array) 返回数组中元素个数 array ‘[’ integer ‘]’ 返回数组索引为integer的元素。索引从1开始 ELEMENT(array) 返回数组中的唯一元素。 若数组为空,则返回null
Hive 创建Hive Catalog Hive方言 Hive源表 Hive结果表 Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题: Connector列表
数据操作语句DML SELECT INSERT INTO 集合操作 窗口 分组聚合 Over聚合 JOIN OrderBy & Limit Top-N 去重 父主题: Flink Opensource SQL1.15语法参考
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 创建并管理SQL作业模板
权限管理 权限管理概述 DLI自定义策略 DLI资源 DLI请求条件 常用操作与系统权限关系