MAPREDUCE服务 MRS-配置Structured Streaming使用RocksDB做状态存储:配置参数

时间：2024-08-01 19:24:16

MAPREDUCE服务 MRS Spark Streaming企业级能力增强

在Spark客户端的“spark-defaults.conf”配置文件中进行设置。

参数	说明	默认值
spark.sql.streaming.stateStore.providerClass	用于管理有状态流查询中的状态数据的类。此类必须是StateStoreProvider的子类，并且必须具有零参数构造函数。配置参数值为org.apache.spark.sql.execution.streaming.state.RocksDBStateStoreProvider即可选择RocksDB作为状态后端。	org.apache.spark.sql.execution.streaming.state.HDFSBackedStateStoreProvider

参数

说明

默认值

spark.sql.streaming.stateStore.providerClass

用于管理有状态流查询中的状态数据的类。此类必须是StateStoreProvider的子类，并且必须具有零参数构造函数。

配置参数值为org.apache.spark.sql.execution.streaming.state.RocksDBStateStoreProvider即可选择RocksDB作为状态后端。

org.apache.spark.sql.execution.streaming.state.HDFSBackedStateStoreProvider