功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上CloudTable、RDS和DWS等异构数据源进行查询分析,数据格式兼容CSV、JSON、Parquet和ORC主流数据格式。
DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包(SDK)获取。
简介 数据类型隐式转换是指在用户通过客户端访问HetuEngine资源时,当查询中使用的数据类型与表中定义的数据类型不匹配时,HetuEngine会自动进行数据类型转换。这一功能减少了因强数据类型校验导致的错误,提升了用户体验。
Flink Opensource SQL语法参考简介 表1 Flink Opensource SQL语法参考简介 Flink版本 说明 语法参考 Flink 1.15 Flink 1.15版本在语法设计上实现了更高的兼容性,与主流开源技术标准保持一致。
图解数据湖探索
DLI弹性资源池与队列简介 DLI的计算资源是执行作业的基础,本节内容介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列? 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式,可以看做DLI计算资源的集合。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
Schema演进语法说明 功能介绍 该能力用于支持SparkSql对Hudi表的列进行Alter变更,使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围: 支持列(包括嵌套列)相关的增、删、改、位置调整等操作。 不支持对分区列做演进。
Delta Time Travel 查看Delta表历史操作记录 查询Delta表历史版本数据 还原Delta表到早期状态
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
创建弹性资源池和队列 DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
对象存储OBS 对象存储OBS源表 对象存储OBS结果表 父主题: Connector列表
Delta SQL语法参考 Delta DDL语法说明 Delta DML语法说明 Schema演进语法说明
DLI Hudi SQL语法参考 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Schema演进语法说明 配置Hudi数据列默认值
Hudi表概述 Hudi表使用约束 Hudi查询类型 Hudi存储结构
Delta DML语法说明 INSERT CREATE TABLE AS SELECT MERGE INTO UPDATE DELETE VACUUM RESTORE OPTIMIZE 父主题: Delta SQL语法参考
数据类型隐式转换 简介 隐式转换对照表
Hudi CALL COMMAND语法说明 CLEAN_FILE SHOW_TIME_LINE SHOW_HOODIE_PROPERTIES ROLL_BACK CLUSTERING CLEANING COMPACTION SHOW_COMMIT_FILES SHOW_FS_PATH_DETAIL
您即将访问非华为云网站,请注意账号财产安全