MAPREDUCE服务 MRS-常用参数:安全性
安全性
Spark目前支持通过共享密钥认证。可以通过spark.authenticate配置参数配置认证。该参数控制Spark通信协议是否使用共享密钥执行认证。该认证是确保双边都有相同的共享密钥并被允许通信的基本握手。如果共享密钥不同,通信将不被允许。共享密钥通过如下方式创建:
- 对于YARN部署的Spark,将spark.authenticate配置为真会自动处理生成和分发共享密钥。每个应用程序会独占一个共享密钥。
- 对于其他类型部署的Spark,应该在每个节点上配置Spark参数spark.authenticate.secret。所有Master/Workers和应用程序都将使用该密钥。
参数 |
描述 |
默认值 |
---|---|---|
spark.acls.enable |
是否开启Spark acls。如果开启,它将检查用户是否有访问和修改job的权限。请注意这要求用户可以被识别。如果用户被识别为无效,检查将不被执行。UI可以使用过滤器认证和设置用户。 |
true |
spark.admin.acls |
逗号分隔的有权限访问和修改所有Spark job的用户/管理员列表。如果在共享集群上运行并且工作时有 MRS 集群管理员或开发人员帮助调试,可以使用该列表。 |
admin |
spark.authenticate |
是否Spark认证其内部连接。如果不是运行在YARN上,请参见spark.authenticate.secret。 |
true |
spark.authenticate.secret |
设置Spark各组件之间验证的密钥。如果不是运行在YARN上且认证未开启,需要设置该项。 |
- |
spark.modify.acls |
逗号分隔的有权限修改Spark job的用户列表。默认情况下只有开启Spark job的用户才有修改列表的权限(例如删除列表)。 |
- |
spark.ui.view.acls |
逗号分隔的有权限访问Spark web ui的用户列表。默认情况下只有开启Spark job的用户才有访问权限。 |
- |