MAPREDUCE服务 MRS-Storm-HDFS开发指引:应用开发操作步骤

时间:2024-06-19 14:14:15

应用开发操作步骤

  1. 确认Storm和HDFS组件已经安装,并正常运行。
  2. 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程
  3. 如果集群启用了安全服务,按登录方式需要进行以下配置。

    • keytab方式:需要从管理员处获取一个“人机”用户,用于认证,并且获取到该用户的keytab文件。
    • 票据方式:从管理员处获取一个“人机”用户,用于后续的安全登录,开启Kerberos服务的renewable和forwardable开关并且设置票据刷新周期,开启成功后重启kerberos及相关组件。
    • 获取的用户需要属于storm组。
    • Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下,票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。

  4. 下载并安装HDFS客户端,参见《准备Linux客户端运行环境》。
  5. 获取HDFS相关配置文件。获取方法如下。

    在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”,在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。

    如果使用keytab登录方式,按3获取keytab文件;如果使用票据方式,则无需获取额外的配置文件。

    将获取到的这些文件拷贝到示例工程的 src/main/resources目录。

    获取到的keytab文件默认文件名为user.keytab,若用户需要修改,可直接修改文件名,但在提交任务时需要额外上传修改后的文件名作为参数。

support.huaweicloud.com/devg-mrs/mrs_06_0286.html