检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-------------------- 运行程序。 右键单击“HdfsExample.java”文件，选择“Run 'HdfsExample.main() '”。 图3 运行程序 样例运行成功后，运行信息如下，表示相关文件操作成功执行。 ... 2217 [main] INFO
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicatio
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applicatio
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicatio
env.execute("Word Count Example"); 执行环境层次 Flink程序运行在执行环境中。执行环境为所有执行的算子、数据源、data sink定义了一个默认的并行度。 执行环境的默认并行度可以通过调用setParallelism()方法指定。例如： final
--class：Spark应用的类名。 --master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。
--class：Spark应用的类名。 --master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。
--class：Spark应用的类名。 --master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicatio
Oozie应用开发应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop任务的工作流引擎，Oozie流程基于有向无环图（Directed Acyclical Graph）来定义和描述，支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高，与Hadoop生态系统各组件紧密结合。
调测OpenTSDB应用 OpenTSDB应用程序支持在安装OpenTSDB客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。 当客
如上表所示，yarn-cluster模式中不支持在Spark工程代码中进行安全认证，因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码，推荐在运行应用程序命令中设置安全认证参数。 安全认证代码（Java版） 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。
查看HBase应用调测结果 HBase应用程序运行完成后，可直接通过运行结果查看应用程序运行情况。 也可以通过HBase日志获取应用运行情况。 运行结果会有如下成功信息： 2018-01-17 19:44:28,068 INFO [main] examples.HBaseExample:
编译并调测Flink应用 操作场景 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 操作步骤
--class：Spark应用的类名。 --master：Spark用于所连接的master，如yarn-client，yarn-cluster等。 application-jar：Spark应用的jar包的路径。 application-arguments：提交Spark应用的所需要的参数（可以为空）。
如上表所示，yarn-cluster模式中不支持在Spark工程代码中进行安全认证，因为需要在应用启动前已完成认证。 未提供Python样例工程的安全认证代码，推荐在运行应用程序命令中设置安全认证参数。 安全认证代码（Java版） 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。
在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公
设置合理的Receiver阻塞时间。 设置合理的数据处理并行度。 使用Kryo系列化。 内存调优。 设置持久化级别减少GC开销。 使用并发的标记-清理GC算法减少GC暂停时间。 运行pyspark建议 运行pyspark应用时，不能使用集群自带的python环境，需要用户自行安装python环境，并将python相关依赖包打包上传到HDFS。
编译并调测Flink应用 操作场景 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行。 操作步骤
准备Kudu应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以Kudu应用程序中需要有安全认证代码，确保Kudu程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交Kudu应用程序运行前，在Kudu客户端执行如下命令进行认证。 kinit
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
