MAPREDUCE服务 MRS-常用参数:安全性

时间:2024-06-29 16:25:02

安全性

Spark目前支持通过共享密钥认证。可以通过spark.authenticate配置参数配置认证。该参数控制Spark通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建:

  • 对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。
  • 对于其他类型部署的Spark,应该在每个节点上配置Spark参数spark.authenticate.secret。所有Master/Workers和应用程序都将使用该密钥。
表25 参数说明

参数

描述

默认值

spark.acls.enable

是否开启Spark acls。如果开启,它将检查用户是否有访问和修改job的权限。请注意这要求用户可以被识别。如果用户被识别为无效,检查将不被执行。UI可以使用过滤器认证和设置用户。

true

spark.admin.acls

逗号分隔的有权限访问和修改所有Spark job的用户/管理员列表。如果在共享集群上运行并且工作时有 MRS 集群管理员或开发人员帮助调试,可以使用该列表。

admin

spark.authenticate

是否Spark认证其内部连接。如果不是运行在YARN上,请参见spark.authenticate.secret。

true

spark.authenticate.secret

设置Spark各组件之间验证的密钥。如果不是运行在YARN上且认证未开启,需要设置该项。

-

spark.modify.acls

逗号分隔的有权限修改Spark job的用户列表。默认情况下只有开启Spark job的用户才有修改列表的权限(例如删除列表)。

-

spark.ui.view.acls

逗号分隔的有权限访问Spark web ui的用户列表。默认情况下只有开启Spark job的用户才有访问权限。

-

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1931.html