检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Linux运行样例代码前需要已安装Java。
Linux的一些版本不支持Quota模式，例如Cent OS。在这种情况下，可以使用CPUset模式。 配置cpuset模式，即Yarn只能使用配置的CPU，需要在Manager界面添加以下配置。
运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。
运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。
远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机，然后通过Linux提供的scp命令复制到远端主机。 父主题： 集群管理类
开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。
若要在Windows或Linux中未安装客户端时提交拓扑，则需要将“streaming-site.xml”和“storm.yaml”都放入样例工程的“storm-examples\src\main\resources”目录下。
开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 父主题： 开发Kafka应用
获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间)，时间差小于5分钟。
开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。
若要在Windows或Linux中未安装客户端时提交拓扑，则需要将“streaming-site.xml”和“storm.yaml”都放入样例工程的“storm-examples\src\main\resources”目录下。
开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。
开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建议预先创建Topic，根据业务需求合理规划Partition数目，Partition数目限制了消费者的并发数。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。
开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7以上版本。
Flink DataStream应用开发思路 假定用户有某个网站网民周末网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。
kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。 代码认证： 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
