检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
able, dli:table:dropTable。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 create table if not exists parquet_table0 (id int,name string,price
'obs://bucket/path/h1'; run compaction on 'obs://bucket/path/h1'; 注意事项 使用API方式对SQL创建的Hudi表触发Compaction时需要添加参数hoodie.payload.ordering.field为preCombineField的值。
权限需求 由DLI提供的元数据服务 SQL权限:不支持。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
ateTable, dli:table:select。 LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 CREATE OR REPLACE TABLE delta_table1 SHALLOW CLONE delta_table0 LOCATION
teTable, dli:table:select。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 创建分区表 create table if not exists delta_table0 using delta partitioned
表的UPDATE权限 细粒度权限:dli:table:update。 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 VACUUM delta_table0 RETAIN 168 HOURS; VACUUM delta_table0 RETAIN
DayTimeIntervalType的映射类型变化为Duration 说明: 在ArrowWriter和ArrowColumnVector开发者API中,从Spark 3.3.x版本开始,Spark SQL中的DayTimeIntervalType类型被映射到Apache Arrow的Duration类型。
细粒度权限:dli:table:createTable, dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->”库表管理”,随后筛选数据库并点击名称,进入表列表查询。
4.x的V1表修改为V2表。 升级Spark 2.4.x的V2表升级为Spark 3.3.1的V2表。 同时还需考虑Spark jar作业API语法的兼容性。 表3 DLI各Spark版本对V1、V2表兼容列表 表类型 Spark2.4 通用队列 Spark3.3 通用队列 V1表
细粒度权限:dli:table:insertIntoTable 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 可以确认任务状态成功,运行QUERY语句查看表中写入的数据。 父主题: Hudi DML语法说明
监控、在线分析等场景。 Flink OpenSource作业:提交作业时可以使用DLI提供的标准的连接器(connectors)和丰富的API,快速与其他数据系统的集成。 Flink Jar作业:允许用户提交编译为Jar包的Flink作业,提供了更大的灵活性和自定义能力。适合需要
细粒度权限:dli:database:createTable LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 示例 通过表名创建非分区表 create table if not exists delta_table0 ( id int, name
的字段类型。 编写代码示例 import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache
实时视图读取(Spark jar作业为例): Spark jar作业可以通过两种方式来读取Hudi表:Spark datasource API 或者通过 SparkSession 提交 SQL。 配置项 hoodie.datasource.query.type 需要配置为 sna
aS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
的字段类型。 编写代码示例 import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache
的字段类型。 编写代码示例 import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache
移除重复数据,就像窗口TopN一样。理论上,窗口是一种特殊的窗口 Top-N:N是1并且是根据处理时间或事件时间排序的。 更多介绍和使用请参考开源社区文档:窗口去重。 语法格式 SELECT [column_list] FROM ( SELECT [column_list],
细粒度权限:dli:database:createTable LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。 系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->”库表管理”,随后筛选数据库并点击名称,进入表列表查询。
[[ENABLE|DISABLE] [VALIDATE|NOVALIDATE] [RELY|NORELY]] 参数说明 请参考使用Hive语法创建OBS表,和Hive 文档了解每个DDL语句的语义。 表1 TBLPROPERTIES 参数说明 参数 是否必选 默认参数 数据类型 说明 streaming-source