MAPREDUCE服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming支持的功能
Structured Streaming支持的功能
- 支持对流式数据的ETL操作。
- 支持流式DataFrames或Datasets的schema推断和分区。
- 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),以及有类型的RDD操作(比如map、filter、flatMap)。
- 支持基于Event Time的聚合计算,支持对迟到数据的处理。
- 支持对流式数据的去除重复数据操作。
- 支持状态计算。
- 支持对流处理任务的监控。
- 支持批流join,流流join。
左表
右表
支持的Join类型
说明
Static
Static
全部类型
即使在流处理中,不涉及流数据的join操作也能全部支持
Stream
Static
Inner
支持,但是无状态
Left Outer
支持,但是无状态
Right Outer
不支持
Full Outer
不支持
Stream
Stream
Inner
支持,左右表可选择使用watermark或者时间范围进行状态清理
Left Outer
有条件的支持,左表可选择使用watermark进行状态清理,右表必须使用watermark+时间范围
Right Outer
有条件的支持,右表可选择使用watermark进行状态清理,左表必须使用watermark+时间范围
Full Outer
不支持
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 函数工作流FunctionGraph支持毫秒级响应文件处理_函数工作流_华为云FunctionGraph-华为云
- 好会计介绍-功能介绍-好会计有哪些好用的功能
- GaussDB支持的函数_GaussDB函数类型解析_高斯数据库支持的函数-华为云
- 分布式消息系统Kafka_分布式消息系统_分布式消息kafka可以解决什么问题-华为云
- CDN加速服务应用场景和案例效果对比
- CDN加速服务应用场景和案例效果对比
- MES主要功能_MES系统功能介绍_流程MES
- MapReduce服务_什么是MapReduce服务_什么是HBase
- WMS系统介绍_WMS功能_WMS与ERP区别