准备Kafka应用开发环境-华为云

MAPREDUCE服务 MRS-准备Kafka应用安全认证:准备认证机制代码

准备认证机制代码在开启Kerberos认证的环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。Kafka应用开发需要进行Kafka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。提供了LoginUtil相关接口来完成这些配置，如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可，由于人机账号的keytab会随用户密码过期而失效，故建议使用机机账号进行配置。认证样例代码：设置keytab认证文件模块 /** * 用户自己申请的账号keytab文件名称 */ private static final String USER_KEYTAB_FILE = "用户自己申请的账号keytab文件名称"; /** * 用户自己申请的账号名称 */ private static final String USER_PRINCIPAL = "用户自己申请的账号名称"; MRS 服务Kerberos认证模块，如果服务没有开启kerberos认证，这块逻辑不执行 public static void securityPrepare() throws IOException { String filePath = System.getProperty("user.dir") + File.separator + "conf" + File.separator; String krbFile = filePath + "krb5.conf"; String userKeyTableFile = filePath + USER_KEYTAB_FILE; //windows路径下分隔符替换 userKeyTableFile = userKeyTableFile.replace("\\", "\\\\"); krbFile = krbFile.replace("\\", "\\\\"); LoginUtil.setKrb5Config(krbFile); LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.hadoop.com"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 如果修改了集群kerberos 域名，需要在代码中增加kerberos.domain.name的配置，并按照hadoop.expr=toLowerCase(%{default_realm}%{KerberosServer})规则配置正确的域名信息。例如：修改域名为HUAWEI.COM，则配置为hadoop.huawei.com。

MAPREDUCE服务 MRS 准备Kafka应用开发环境

MAPREDUCE服务 MRS-准备本地应用开发环境

Kafka开发应用时，需要准备的开发和运行环境如表1所示：表1 开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端： Oracle JDK：支持1.8版本 IBM JDK：支持1.8.5.11版本 TaiShan客户端： OpenJDK：支持1.8.0_272版本说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。

MAPREDUCE服务 MRS 准备Kafka应用开发环境

MAPREDUCE服务 MRS-准备本地应用开发环境

Kafka开发应用时，需要准备的开发和运行环境如表1所示：表1 开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端： Oracle JDK：支持1.8版本 IBM JDK：支持1.8.5.11版本 TaiShan客户端： OpenJDK：支持1.8.0_272版本说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。

MAPREDUCE服务 MRS 准备Kafka应用开发环境

MAPREDUCE服务 MRS-准备Maven和JDK:操作步骤

操作步骤开发环境安装Eclipse程序，安装要求如下。 Eclipse使用3.0及以上版本。 IntelliJ IDEA使用15.0以上版本。开发环境安装JDK环境，安装要求如下。 JDK使用1.7或者1.8版本。支持IBM JDK和Oracle JDK。若使用IBM JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为Oracle JDK。不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。开发环境安装Mave环境，安装版本3.0.0以上。

MAPREDUCE服务 MRS 准备Kafka应用开发环境

MAPREDUCE服务 MRS-Kafka应用开发环境简介

Kafka应用开发环境简介 Kafka开发应用时，需要准备的开发环境如下表所示：表1 开发环境准备项说明操作系统 Windows系统，推荐Windows 7以上版本。安装JDK和Maven 开发环境的基本配置。JDK版本要求：1.7或者1.8。Maven版本要求：3.3.0及以上安装和配置Eclipse或IntelliJ IDEA 用于开发Kafka应用程序的工具。网络确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。访问云服务器的安全认证本地可以通过密钥或密码方式登录访问Linux弹性云服务器父主题：准备Kafka应用开发环境

MAPREDUCE服务 MRS 准备Kafka应用开发环境

云服务器内容精选

准备Kafka应用开发环境

7*24

备案

专业服务

退订

建议反馈

售前咨询热线