检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris结果表 功能描述 Flink SQL作业写Doris结果表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与Doris建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
Hbase源表 功能描述 创建source流从HBase中获取数据,作为作业的输入数据。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析
key.fields 否 [] List<String> 表结构中用来配置消息键(Key)格式数据类型的字段列表。 默认情况下该列表为空,因此消息键没有定义。 列表格式为 'field1;field2'。 key.fields-prefix 否 无 String 为所有消息键
LakeFormation资源权限支持列表与策略项 LakeFormation SQL资源权限支持列表 DLI支持SQL资源鉴权的操作列表请参考数据权限列表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表 资源类型 权限类型
进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载文件名包含taskmanager.out的文件查看结果日志。 父主题: Connector列表
Doris Doris Connector概述 Doris源表 Doris结果表 Doris维表 父主题: Connector列表
DWS Connector概述 DWS源表(不推荐使用) DWS结果表(不推荐使用) DWS维表(不推荐使用) 父主题: Connector列表
rowkey作为主键。详情可参考HBase SQL 连接器 Hbase源表 Hbase结果表 Hbase维表 父主题: Connector列表
Hbase结果表 功能描述 DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,
Hbase维表 功能描述 创建Hbase维表用于与输入流连接生成宽表。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现,定义,和演化数据。 Flink与Hive的集成包含两个层面,一是利用了Hive的MetaStore作为持
Hive维表 使用Temporal join关联维表的最新分区 使用Temporal join关联维表的最新版本 父主题: Connector列表
支持hudi表类型 MOR表,COW表 支持读写类型 批量读,批量写,流式读,流式写 Hudi源表 Hudi 结果表 父主题: Connector列表
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“日志列表”。 在左上角下拉框选择对应的taskmanager名称,单击taskmanager.out文件查看结果日志。 父主题: Connector列表
insert into blackholeSink select * from datagenSource; 父主题: Connector列表
结果表。 本例中订单表作为驱动源表输入,商品类别信息表作为静态维表,统计结果表作为作业最终输出。 Connector支持列表 表1 Connector支持列表 Connector 源表 维表 结果表 BlackHole 不支持 不支持 支持 ClickHouse 不支持 不支持 支持
Redis Redis源表 Redis结果表 Redis维表 父主题: Connector列表
out文件中的数据结果,数据结果参考如下: +I(1, xxx, webShop) +I(2, xxx, miniAppShop) 常见问题 无 父主题: Connector列表
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接,从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。