检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
HBase RegionServer GC参数Xms和Xmx的配置为31GB，导致RegionServer启动失败 问题 MRS 3.x及之后版本，查看RegionServer启动失败节点的hbase-omm-*.out日志，发现日志中存在“An error report file
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？ 回答 当用户写入存储策略为LAZY
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？ 回答 在yarn-client模式下，Spark的Driv
Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 问题 当删除一个有部分应用程序正在运行的队列，这些应用程序会被移动到“lost_and_found”队列上。当这些应用程序移回运行正常的队列时，某些任务会被挂起，不能正常运行。 回答 如果应用程序
Ranger界面添加或者修改HBase策略时，无法使用通配符搜索已存在的HBase表 问题 添加HBase的Ranger访问权限策略时，在策略中使用通配符搜索已存在的HBase表时，搜索不到已存在的表，并且在/var/log/Bigdata/ranger/rangeradmin/
MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开 问题 MapReduce JobHistoryServer服务地址变更后，为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开？
使用REST接口查询HBase集群信息 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTPS协议，获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huaw
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码，需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python，其版本不低于2.6
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例
Driver返回码和RM WebUI上应用状态显示不一致 问题 ApplicationMaster与ResourceManager之间通信发生长时间异常时，为什么Driver返回码和RM WebUI上应用状态显示不一致？ 回答 在yarn-client模式下，Spark的Driv
YARN资源池的所有节点都被加入黑名单，任务一直处于运行状态 问题 为什么YARN资源池的所有节点都被加入黑名单，而YARN却没有释放黑名单，导致任务一直处于运行状态？ 回答 在YARN中，当一个APP的节点被AM（ApplicationMaster）加入黑名单的数量达到一定比例
当分级存储策略为LAZY_PERSIST时为什么文件的副本的存储类型为DISK 问题 当文件的存储策略为LAZY_PERSIST时，文件的第一副本的存储类型应为RAM_DISK，其余副本为DISK。 为什么文件的所有副本的存储类型都是DISK？ 回答 当用户写入存储策略为LAZY
MapReduce Java API接口介绍 MapReduce常用接口 MapReduce中常见的类如下。 org.apache.hadoop.mapreduce.Job：用户提交MR作业的接口，用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop
通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();
Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
