检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站。 http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop
Flink提供了样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Flink工程。 导入并配置Flink样例工程 准备安全认证 如果您使用的是安全集群，需要进行安全认证。 准备Flink安全认证 根据场景开发工程 提供了Scala、Java两种不同语言的样例工程，帮助用户快速了解Flink各部件的编程接口。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
Kafka提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群，需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Consumer相关API的使用样例
JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。 说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com
根据指导，新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程（可选） 准备安全认证 如果您使用的是安全集群，需要进行安全认证。 配置Spark应用安全认证 根据场景开发工程 提供了Scala、Java、Python三种不同语言的样例工程，还提供了Str
ark-submit脚本（运行的应用中带SQL操作），不支持使用proxy user参数去提交任务。另外，由于本文档中涉及的样例程序已添加安全认证，建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集（Resilient Distributed D
全部配置 > HiveServer > 安全”。 FusionInsight Manager界面操作：登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer > 安全”。 将需要执行的命令参数添加到配置项“hive
Welcome back to webhdfs! MRS集群默认只支持HTTPS服务访问，若使用HTTPS服务访问，执行3；若使用HTTP服务访问，执行4。 与HTTP服务访问相比，以HTTPS方式访问HDFS时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加
Welcome back to webhdfs! MRS集群默认只支持HTTPS服务访问，若使用HTTPS服务访问，执行3；若使用HTTP服务访问，执行4。 与HTTP服务访问相比，以HTTPS方式访问HDFS时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加
开发Kafka应用 Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据
Flink DataStream样例程序开发思路 场景说明 假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
duce工程。 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程 准备安全认证 如果您使用的是安全集群，需要进行安全认证。 配置MapReduce应用安全认证 根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 开发MapReduce应用
存放用户信息的密钥文件。在安全模式下，应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户，可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题： Oozie开发指南（安全模式）
会发生上述异常，是由于集群所使用的HTTP政策为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常，应使用sweb
会发生上述异常，是由于集群所使用的HTTP政策为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常，应使用sweb
在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 代码样例 如下是代码片段，详细代码请参考com.huawei
URL格式为：https://Oozie节点业务IP:21003/oozie。可登录FusionInsight Manager，选择“集群 > 服务 > Oozie > 实例”，即可获取任一oozie实例的IP地址；单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。
ngine\XXX\”路径下获取“hetu-jdbc-*.jar”文件，XXX为“arm”或“x86”。 上传配置HetuEngine应用安全认证中得到的“jaas-zk.conf”、“user.keytab”和“krb5.conf”文件到Linux环境“/opt/client”目录下。
on等语言进行程序开发，推荐用户使用Java语言进行Kudu应用程序开发。 Kudu采用的接口与Apache Kudu保持一致，请参考https://kudu.apache.org/apidocs/。 父主题： Kudu应用开发概述
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
