检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python，其版本不低于2.6.6，最高不能超过2.7.13。 在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。
使用说明 Linux客户端使用SSL功能 修改“客户端安装目录/Kafka/kafka/config/producer.properties”和“客户端安装目录/Kafka/kafka/config/consumer.properties”中“security.protocol”的值为
准备Spark应用Scala开发环境 操作场景 Scala开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Scala开发环境，推荐使用IDEA工具，安装要求如下。
弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP，绑定新申请的弹性云主机IP，并配置安全组出入规则。 下载客户端程序。 登录MRS Manager系统。
修复隔离MRS集群主机补丁 若集群中存在主机被隔离的情况，集群补丁安装完成后，请参见本节操作对隔离主机进行补丁修复。修复完成后，被隔离的主机节点版本将与其他未被隔离的主机节点一致。 MRS 3.x版本不支持在管理控制台执行本章节操作，本章节仅适用于3.x之前的版本。 访问MRS Manager
非安全模式下，当“yarn.nodemanager.linux-container-executor.user”设置为omm时，也需设置“yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user”为omm
HCatalog样例仅支持在Linux节点上运行。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“hive-jdbc-example”或“hcatalog-example”。
使用说明 Linux客户端使用SSL功能 修改“客户端安装目录/Kafka/kafka/config/producer.properties”和“客户端安装目录/Kafka/kafka/config/consumer.properties”中“security.protocol”的值为
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。
原因分析 通过后台日志看到一些Java安全随机数的日志，在JDK中，SecureRandom算法底层依赖操作系统提供的随机数据；在Linux中，与之相关的是“/dev/random”和“/dev/urandom”。
在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。
如需在Linux调测程序，需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件，均具有可读权限。同时保证已安装JDK并已设置java相关环境变量。
图2 Producer运行窗口 在Linux调测程序 在IntelliJ IDEA中，在生成jar包之前配置工程的“Artifacts”信息。
若要在Windows或Linux中未安装客户端时提交拓扑，则需要将“streaming-site.xml”和“storm.yaml”都放入样例工程的“storm-examples\src\main\resources”目录下。
这里的user.keytab文件路径为Linux机器上配置文件的存放路径，后面的test用户名可以更改为5.2.2-准备开发用户中新建的用户名。 父主题： 准备MapReduce应用开发环境
Linux的一些版本不支持Quota模式，例如Cent OS。在这种情况下，可以使用CPUset模式。 配置cpuset模式，即YARN只能使用配置的CPU，需要添加以下配置。
Linux的一些版本不支持Quota模式，例如Cent OS。在这种情况下，可以使用CPUset模式。 配置cpuset模式，即Yarn只能使用配置的CPU，需要在Manager界面添加以下配置。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。
操作步骤 查看运行结果获取应用运行情况 HdfsMain Linux样例程序安全集群运行结果如下所示： [root@node-master1dekG client]# hadoop jar hdfs-examples-1.0.jar com.huawei.bigdata.hdfs.examples.HdfsMain
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
