检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲
访问MRS Manager页面报错“502 Bad Gateway” 用户问题 访问集群管理页面地址打开显示“502 Bad Gateway”错误。 问题现象 未开启Kerberos认证的集群，访问MRS Manager页面报错如下图： 图1 MRS Manager页面报错 原因分析
UI页面无法跳转到Spark Web UI界面 问题 FusionInsight版本中，在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误： 从YARN ResourceManager的日志看到： 2016-07-21 16:35:27
UI页面无法跳转到Spark Web UI界面 问题 FusionInsight版本中，在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误： 从YARN ResourceManager的日志看到： 2016-07-21 16:35:27
详情说明请参考配置MRS集群安全通信授权。 勾选授权 表5 MRS集群高级配置信息 参数 描述 示例 主机名前缀 用作集群中ECS服务器或BMS服务器主机名的前缀。 - 加密算法 集群系统中各类密码信息加解密所使用的算法。 国际算法：通用加密算法。 国密算法：SM系列商密算法，同时兼容通用加密算法。
态枚举。 示例： status job -j 1 status job -j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景，MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展，以达到在创建作业时指定行、列分隔符及转换步骤的目的。
-u，获取到当前配置的omm用户同时打开的线程最大数的配置值，查看该值是否大于等于60000。 是，执行8。 否，执行7。 执行命令ulimit -u 60000，将omm用户的该配置修改为60000，等待2分钟，查看告警是否消失。 是，处理完毕。 否，执行12。 检查是否同时打开的进程过多。 打开FusionInsight
UI”，单击任意一个UI链接，打开Storm的WebUI。 第一次访问Storm WebUI，需要在浏览器中添加站点信任以继续打开页面。 MRS 3.x及后续版本：选择“Storm > 概览”，在“基本信息”的“Storm Web UI”，单击任意一个UI链接，打开Storm的WebUI。
> Storm”，选择“配置”选项卡，在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值，建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是，执行10。 否，执行9。 在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。 balance_switch true balancer_enabled
Web UI页面无法跳转到Spark WebUI界面 用户问题 在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误： 从Yarn ResourceManager的日志看到： 2021-07-21 16:35:27
Manager管理开发指南 Manager应用开发简介 Manager应用开发流程 准备Manager应用开发环境 开发Manager应用 调测Manager应用 Manager应用开发常见问题
> Storm”，选择“配置”选项卡，在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值，建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunj
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
本地盘不支持扩容。 系统盘不支持扩容。 仅支持集群节点创建时默认挂载的数据盘完整扩容云硬盘（EVS）容量、磁盘分区和文件系统。 云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。 数据盘扩容（一键扩容） 当集群版本为MRS 3.1.0（须安装3
员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是，执行10。 否，执行9。 在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。 balance_switch true balancer_enabled
BackOff Backoff是FairCallQueue的功能之一，要求客户端在一段时间后重试操作（如创建，删除，打开文件等）。当Backoff发生时，RCP服务器将发生RetriableException异常。FairCallQueue在以下两种情况时进行Backoff。 当队列已满，即队列中有许多客户端调用时。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输
硬盘离线、硬盘坏道等故障。 处理步骤 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的。 从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是，执行4。
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
