华为云首页用户手册

MAPREDUCE服务 MRS-Storm-HDFS开发指引:应用开发操作步骤

时间：2024-06-19 14:14:15

MAPREDUCE服务 MRS

应用开发操作步骤

确认Storm和HDFS组件已经安装，并正常运行。
将storm-examples导入到Eclipse开发环境，请参见导入并配置Storm样例工程。
如果集群启用了安全服务，按登录方式需要进行以下配置。
- keytab方式：需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。
- 票据方式：从管理员处获取一个“人机”用户，用于后续的安全登录，开启Kerberos服务的renewable和forwardable开关并且设置票据刷新周期，开启成功后重启kerberos及相关组件。
- 获取的用户需要属于storm组。
- Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下，票据刷新周期的修改可以根据实际情况修改“kdc_renew_lifetime”和“kdc_max_renewable_life”的值。
下载并安装HDFS客户端，参见《准备Linux客户端运行环境》。
获取HDFS相关配置文件。获取方法如下。
在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”，在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。

如果使用keytab登录方式，按3获取keytab文件；如果使用票据方式，则无需获取额外的配置文件。

将获取到的这些文件拷贝到示例工程的 src/main/resources目录。

获取到的keytab文件默认文件名为user.keytab，若用户需要修改，可直接修改文件名，但在提交任务时需要额外上传修改后的文件名作为参数。