检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以MRS集群管理员需要定期检查并保持DataNode数据平衡。
“概览”页面中，单击“管理委托”，选择创建好的OBS委托后单击“确定”。 图5 进入MRS集群的概览界面 图6 为集群绑定委托 步骤3：创建Hive表并加载OBS中数据 在服务列表中选择“存储 > 对象存储服务 OBS”，登录OBS控制台，单击“并行文件系统 > 创建并行文件系统”，填写以下参数，单击“立即创建”。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用平均时间超过阈值，会影响上层大数据计算业务的性能，导致某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿，或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。 在FusionInsight
阈值设置 > meta > OBS的readFully接口调用失败总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3 联系OBS运维人员查看OBS服务是否正常。 是，执行4。 否，联系OBS服务运维人员修复OBS服务。 收集故障信息。
阈值设置 > meta > OBS的write接口调用失败总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3。 联系OBS运维人员查看OBS服务是否正常。 是，执行4。 否，联系OBS服务运维人员修复OBS服务。 收集故障信息。 登录FusionInsight
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight
阈值设置 > meta > OBS的read接口调用失败总数”，将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是，处理完毕。 否，执行3。 联系OBS运维人员查看OBS服务是否正常。 是，执行4。 否，联系OBS服务运维人员修复OBS服务。 收集故障信息。 在FusionInsight
Tez是Apache最新的支持DAG（有向无环图）作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎，执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明，请参见：https://tez
按照设定，任务应该只扫描b=xxx的分区，但是查看任务日志可以发现，实际上任务却扫描了所有的分区再来计算b=xxx的数据，因此任务计算的很慢。并且因为需要扫描所有文件，会有大量的OBS请求发送。 MRS默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS元数据接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight
否，执行3。 联系OBS运维人员查看OBS服务是否正常。 是，执行4。 否，联系OBS服务运维人员修复OBS服务。 收集故障信息。 登录FusionInsight Manager界面，选择“集群 > 服务 > meta > 图表”，在“图表分类”选择“OBS流控”，在“OBS操作被流控次
一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 华为云的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存
特性简介 MRS集群支持创建Task节点，只作为计算节点，不存放持久化的数据，是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下，使用Task节点可以节省成本，并可以更加方便快捷地对集群节点进行扩缩容，满足用户对集群计算能力随时增减的需求。 用户场景 当集群数据量变
归档存储的对象，而无需提前恢复。 关闭 企业项目 将桶加入到企业项目中统一管理。 default 标签 可选。标签用于标识OBS中的桶，以此达到对OBS中的桶进行分类的目的。 - 等待文件系统创建好，单击文件系统名称，选择“文件 > 上传文件”，将数据文件上传至OBS并行文件系统内。
IaaS基础设施资源费用（弹性云服务器，云硬盘，弹性IP/带宽等） MRS服务管理费用详情，请参见产品价格详情。 您可以通过MRS提供的价格计算器，选择您需要的集群节点规格，来快速计算出购买MRS集群的参考价格。 MRS集群删除或退订后不再产生费用。 计费模式 使用MRS的首要操作就是购买MRS集群，MRS当前支持包年包月和按需计费模式。
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight
景的开发思路： 接收Kafka中数据，生成相应DStream。 对单词记录进行分类统计。 计算结果，并进行打印。 方案架构 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。当前Spark支持两种数据处理方式：Direct
针对传统存算一体大数据架构中扩容困难、资源利用率低等问题，MRS采用计算存储分离架构，存储基于公有云对象存储实现11个9的高可靠，无限容量，支撑企业数据量持续增长；计算资源支持0~N弹性扩缩，百节点快速发放。存算分离后，计算节点可实现真正的极致弹性伸缩；数据存储部分基于OBS的跨AZ等能力实现更高可靠性，无需担
IAM用户同步 OBS权限映射 用户通过该功能配置访问OBS权限，实现MRS用户对OBS桶下的目录权限控制。 例如，您只允许用户组A访问某一OBS桶中的日志文件，您可以执行以下操作来实现： 为MRS集群配置OBS访问权限的委托，实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi，请确保MRS集群内已安装Spark/Spark2x服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
