华为云首页 用户手册

MAPREDUCE服务 MRS-准备Flink安全认证:安全认证

MAPREDUCE服务 MRS-准备Flink安全认证:安全认证

时间：2024-06-29 14:10:56
MAPREDUCE服务 MRS

安全认证

图1 Flink系统认证方式

Flink整个系统存在三种认证方式，需参考下表进行配置：

  • 使用kerberos认证：Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与HDFS、Kafka与TaskManager、TaskManager和Zookeeper。
  • 使用security cookie进行认证：Flink yarn client与Job Manager、JobManager与TaskManager、TaskManager与TaskManager。
  • 使用YARN内部的认证机制：Yarn Resource Manager与Application Master（简称AM）。
    • Flink的JobManager与YARN的AM是在同一个进程下。
    • 如果用户安装安全模式需要使用kerberos认证和security cookie认证。
表1 安全认证方式

安全认证方式

配置方法

Kerberos认证（当前只支持keytab认证方式）
  1. 从 FusionInsight Manager上下载准备集群认证用户信息创建的用户keytab文件，并放置到Flink客户端所在节点的某个目录下。
  2. 在“客户端安装路径/Flink/flink/conf/flink-conf.yaml”上配置：
    1. 配置客户端安装节点的业务IP和Master节点IP到“jobmanager.web.access-control-allow-origin”和“jobmanager.web.allow-access-address”配置项中。
      jobmanager.web.access-control-allow-origin: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx jobmanager.web.allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx
      说明：

      集群外节点业务IP为安装客户端所在的弹性云服务器的IP。集群内节点业务IP获取方式如下：

      登录 MapReduce服务 管理控制台，选择“现有集群”，选中当前的集群并单击集群名，进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。

    2. keytab路径。
      security.kerberos.login.keytab: /home/flinkuser/keytab/flinkuser.keytab
      说明：

      “/home/flinkuser/keytab/”表示的是用户保存keytab文件的目录。

    3. principal名为用于运行作业的用户名。
      security.kerberos.login.principal: flinkuser
    4. 对于HA模式，如果配置了ZooKeeper，还需要设置ZK kerberos认证相关的配置。
      zookeeper.sasl.disable: false
security.kerberos.login.contexts: Client
    5. 如果用户对于Kafka client和Kafka broker之间也需要做kerberos认证，配置如下：
      security.kerberos.login.contexts: Client,KafkaClient

Security Cookie认证
  1. 将“generate_keystore.sh”脚本放置到Flink客户端“bin”目录中并调用“generate_keystore.sh”脚本，生成“Security Cookie”、“flink.keystore”文件和“flink.truststore”文件。具体操作可参考认证和加密。

    执行sh generate_keystore.sh，输入用户自定义密码。密码不允许包含#。

    说明：

    执行脚本后，在Flink客户端的“conf”目录下生成“flink.keystore”和“flink.truststore”文件，并且在客户端配置文件“flink-conf.yaml”中将以下配置项进行了默认赋值。

    • 将配置项“security.ssl.keystore”设置为“flink.keystore”文件所在绝对路径。
    • 将配置项“security.ssl.truststore”设置为“flink.truststore”文件所在的绝对路径。
    • 将配置项“security.cookie”设置为“generate_keystore.sh”脚本自动生成的一串随机规则密码。
    • 默认“flink-conf.yaml”中“security.ssl.encrypt.enabled: false”，“generate_keystore.sh”脚本将配置项“security.ssl.key-password”、“security.ssl.keystore-password”和“security.ssl.truststore-password”的值设置为调用“generate_keystore.sh”脚本时输入的密码。
    • MRS 3.x及之后版本，如果需要使用密文时，设置“flink-conf.yaml”中“security.ssl.encrypt.enabled: true”，“generate_keystore.sh”脚本不会配置“security.ssl.key-password”、“security.ssl.keystore-password”和“security.ssl.truststore-password”的值，需要使用Manager明文加密API进行获取，执行curl -k -i -u user name:password -X POST -HContent-type:application/json -d '{"plainText":"password"}' 'https://x.x.x.x:28443/web/api/v2/tools/encrypt'

      其中user name:password分别为当前系统登录用户名和密码；"plainText"的password为调用“generate_keystore.sh”脚本时的密码；x.x.x.x为集群Manager的浮动IP。

  2. 打开“Security Cookie”开关，配置“security.enable: true”，查看“security cookie”是否已配置成功，例如：
    security.cookie: ae70acc9-9795-4c48-ad35-8b5adc8071744f605d1d-2726-432e-88ae-dd39bfec40a9

YARN内部认证方式

该方式是YARN内部的认证方式，不需要用户配置。

当前一个Flink集群只支持一个用户，一个用户可以创建多个Flink集群。

support.huaweicloud.com/devg3-mrs/mrs_07_050010.html

新客秒杀 2核2G 3M L实例

68元/年

普惠上云 领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元 随心购

1元/年起

看了此文的人还看了
CDN加速 GaussDB 文字转换成语音 免费的服务器 如何创建网站 域名网站购买 私有云桌面 云主机哪个好 域名怎么备案 手机云电脑 SSL证书申请 云点播服务器 免费OCR是什么 电脑云桌面 域名备案怎么弄 语音转文字 文字图片识别 云桌面是什么 网址安全检测 网站建设搭建 国外CDN加速 SSL免费证书申请 短信批量发送 图片OCR识别 云数据库MySQL 个人域名购买 录音转文字 扫描图片识别文字 OCR图片识别 行驶证识别 虚拟电话号码 电话呼叫中心软件 怎么制作一个网站 Email注册网站 华为VNC 图像文字识别 企业网站制作 个人网站搭建 华为云计算 免费租用云托管 云桌面云服务器 ocr文字识别免费版 HTTPS证书申请 图片文字识别转换 国外域名注册商 使用免费虚拟主机 云电脑主机多少钱 鲲鹏云手机 短信验证码平台 OCR图片文字识别 SSL证书是什么 申请企业邮箱步骤 免费的企业用邮箱 云免流搭建教程 域名价格
MAPREDUCE服务 MRS-准备Flink安全认证:安全认证

搜索反馈

您搜索到想要的结果了吗?

是的 没有

意见反馈

0/200

提交 取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好 反馈提交失败！请稍后重试！
产品专区
推荐文章
更多内容
云硬盘存储EVS Web应用防火墙 人机语音识别 云计算入门 云数据库选择 HDC大会 华为云计算 响应式建站是什么 智慧班牌系统