数据湖探索 DLI-数据保护技术:Spark作业传输通信加密

时间：2024-06-20 11:22:58

数据湖探索 DLI 安全

Spark作业支持通过配置表1中的参数开启通信加密。

请确保已上传密钥和证书到指定的OBS路径下，并在作业配置中的其他依赖文件中引入。

表1 Spark作业传输开启通信加密配置项
参数	说明	配置示例
spark.network.crypto.enabled	该参数用于启用或禁用数据在节点之间传输时的加密。当设置为true时，Spark会加密Executor和Driver之间以及Executor之间的所有通信。这是确保数据传输安全的重要配置。	true
spark.network.sasl.serverAlwaysEncrypt	该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时，服务器将要求所有客户端使用加密连接，这可以提高通信的安全性。	true
spark.authenticate	该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。	true