检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强
用户同时还需要至少manager_viewer权限的角色。 获取运行状态的Oozie服务器（任意实例）URL，如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名，如“10-1-130-10”。 获取Yarn ResourceManager主节点IP，如10
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
Kudu应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Kudu应用程序开发流程 表1 Kudu应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Kudu的基本概念。 Kudu应用开发常用概念 准备开发和运行环境 Kudu的应用程序支
Oozie应用开发流程 本文档主要基于java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。
Storm应用开发流程 本文档主要基于Java API进行Storm拓扑的开发。 开发流程中各阶段的说明如图1和表1所示： 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Storm的基本概念，了解场景需求，拓扑等。
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
似的功能。 Client 客户端直接面向用户，可通过Java API或HBase Shell访问服务端，对HBase的表进行读写操作。本文中的HBase客户端特指从装有HBase服务的MRS Manager上下载的HBase client安装包，里面包含通过Java API访问HBase的样例代码。
Hive应用开发常用概念 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。本文中的Hive客户端特指Hive client的安装目录，里面包含通过Java API访问Hive的样例代码。 HiveQL语言 Hive Query
查看HDFS应用调测结果 操作场景 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 操作步骤 查看运行结果获取应用运行情况 HdfsMain Linux样例程序安全集群运行结果如下所示： [root@node-master1dekG
Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类。 样例代码获取方式请参考获取MRS应用开发样例工程。
Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection。 样例代码获取方式请参考获取MRS应用开发样例工程。
Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： def contains(str
Spark应用调优 Spark Core调优 SQL和DataFrame调优 Spark Streaming调优 Spark CBO调优 父主题： Spark应用开发常见问题
设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，
经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例 rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如 rdd
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
