检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下
HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。
使用多线程Producer发送消息 功能简介 在使用Producer API向安全Topic生产消息基础上，实现了多线程Producer，可启动多个Producer线程，并通过指定相同key值的方式，使每个线程对应向特定Partition发送消息。 下面代码片段在com.huawei.bigdata.kafka.example.ProducerMultThread
Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下
Spark Core样例程序 Spark Core样例程序开发思路 Spark Core样例程序（Java） Spark Core样例程序（Scala） Spark Core样例程序（Python） 父主题： 开发Spark应用
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见
HBase Shell接口介绍 您可以使用Shell在服务端直接对HBase进行操作。HBase的Shell接口同开源社区版本保持一致，请参见http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/。
MRS集群默认只支持HTTPS服务访问，若使用HTTPS服务访问，执行3；若使用HTTP服务访问(仅安全集群支持)，执行4。 与HTTP服务访问相比，以HTTPS方式访问HDFS时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加支持。
JDK使用1.7版本（或1.8版本） IntelliJ IDEA（版本：13.1.6） Scala（版本：2.11.8） Scala插件（版本：0.35.683） Spark不支持当客户端程序使用IBM JDK 1.7运行时，使用yarn-client模式向服务端提交Spark任务
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.
Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程，将工程导入到Eclipse开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过MRS Manager页面右上角查看。
导入并配置Kafka样例工程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing
将安装Flink客户端章节中下载的客户端安装包复制到Windows服务器中。
Flink DataStream Scala样例代码 功能简介 实时统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印出来。 样例代码 下面代码片段仅为演示，具体代码参见com.huawei.flink.example.stream.FlinkStreamScalaExample
Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ 问题现象 Spark作业运行一直不结束，查看日志报错：java.io.IOException: Connection reset by peer。 解决方法
MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如IndexServer2x变更为IndexServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
