华为云首页用户手册

MAPREDUCE服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming支持的功能

MAPREDUCE服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming支持的功能

时间：2024-06-17 09:21:00

MAPREDUCE服务 MRS

Structured Streaming支持的功能

支持对流式数据的ETL操作。
支持流式DataFrames或Datasets的schema推断和分区。
流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如select、where、groupBy），以及有类型的RDD操作（比如map、filter、flatMap）。
支持基于Event Time的聚合计算，支持对迟到数据的处理。
支持对流式数据的去除重复数据操作。
支持状态计算。
支持对流处理任务的监控。

支持批流join，流流join。

当前JOIN操作支持列表如下：

左表	右表	支持的Join类型	说明
Static	Static	全部类型	即使在流处理中，不涉及流数据的join操作也能全部支持
Stream	Static	Inner	支持，但是无状态
		Left Outer	支持，但是无状态
		Right Outer	不支持
		Full Outer	不支持
Stream	Stream	Inner	支持，左右表可选择使用watermark或者时间范围进行状态清理
		Left Outer	有条件的支持，左表可选择使用watermark进行状态清理，右表必须使用watermark+时间范围
		Right Outer	有条件的支持，右表可选择使用watermark进行状态清理，左表必须使用watermark+时间范围
		Full Outer	不支持

上一篇：MAPREDUCE服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming可靠性说明

下一篇：MAPREDUCE服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming可靠性说明

MAPREDUCE服务 MRS-structured streaming功能与可靠性介绍:Structured Streaming支持的功能

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题