检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
allow-access-address”中添加该客户端所在节点的IP。若集群未开启Kerberos认证则无需修改该配置项。 配置客户端网络连接。 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。 确认客户端与服务端各个主机网络上互通。 将服务端主机名与IP映射关系添加到客户端的hosts文件中。
用的UDP端口，导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UDP端口都打开，保证应用程序在Windows环境下运行的机器与MRS集群的网络是完全通畅的。 父主题： MapReduce应用开发常见问题
业务和作业，然后停止HBase、Hive服务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时，在VPC管理控制台，为每个安
在集群详情页，单击页面右上角“管理操作 > 查看集群健康检查报告”。 在MRS管理控制台执行健康检查管理操作仅适用于MRS 1.9.2集群。 在健康检查的报告面板上单击“导出报告”导出健康检查报告，可查看检查项的完整信息。 在Manager查看健康检查报告（MRS 3.x及之后版本） 登录FusionInsight
adoop distcp命令跨集群复制数据时需要所有DataNode节点网络互通。根据不同的迁移场景需要使用不同的方式先打通两套集群之间网络连接。 客户线下数据中心迁移数据到华为云MRS集群，通过云专线服务为用户搭建本地数据中心与云上VPC之间的专属连接通道。可以使用华为云的云专
员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是，执行10。 否，执行9。 在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。 balance_switch true balancer_enabled
员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是，执行10。 否，执行9。 在hbase shell中执行命令打开负载均衡功能，并执行命令查看确认成功打开。 balance_switch true balancer_enabled
群，用户可以在MRS控制台页面打开Manager管理页面。 本章节介绍如何打开MRS Manager方法。 登录MRS Manager 登录MRS管理控制台页面。 在“现有集群” 列表，单击指定的集群名称，进入集群信息页面。 单击“点击管理”，打开“访问MRS Manager页面”。
单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常 HDFS客户端写文件close失败 文件错误导致上传文件到HDFS失败 界面配置dfs.blocksize后上传数据，block大小未改变
Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
*:80" 8157为10中配置的本地代理端口。 若本地操作系统为Windows 10，请打开Windows操作系统“开始”菜单，输入cmd命令，打开一个命令行窗口执行11.b中的命令。若该方式不能成功，请打开Windows操作系统“开始”菜单后，在搜索框中输入并执行11.b中的命令。 在
本地历史审计日志丢失，查询超过当前时间点的前50条审计日志时无法查询。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录不满足配置条件。 转储目录的磁盘空间不足。 处理步骤 检查网络连接是否正常。 在FusionInsight Manager界面，选择“审计 > 配置”，进入审计日志转储配置页面。
Presto如何配置其他数据源？ 本指导以连接MySQL数据源为例。 MRS 1.x及MRS 3.x版本。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Presto”。设置“参数类别”为“全部配置”，进入Presto配置界面修改参数配置。 搜索“c
Connection Type：选择 SSH。 Saved Sessions：任务名称，在下一次使用putty时就可以单击保存的任务名称，即可打开远程连接。 图2 单击“Session” 单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接
对接第三方AD服务配置项错误 FusionInsight与第三方AD服务之间网络连接故障 AD服务器故障 AD服务故障 处理步骤 检查第三方AD配置。 在FusionInsight Manager页面，选择“系统 > 权限 > 第三方AD”，打开第三方AD配置页面。 检查配置项“AD IP地址”、“L
connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 回答 由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。
connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 回答 由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
