检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，管理员可在线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题： Kafka
HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，提升在线SQL运维能力，自动加速在线SQL分析任务，开启SQL诊断能力后，系统可实现如下能力： 自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的S
HBase启动后，HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面，显示有4个RegionServer在线，如下图示： 原因分析 如下图可以看出，第三行hostname为controller-192-168-1-3节点和第四行hostname为
务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询效率获得倍数提升，同时有效降低系统负载压力。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine W
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情，以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志，因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
查看MRS组件角色实例日志 MRS集群创建成功后，用户可以通过Manager界面在线直接查看组件各角色实例的日志内容并下载指定日志文件，便于快速定位分析问题。 本章节操作仅支持MRS 3.x及之后的版本。 查看角色实例日志 登录FusionInsight Manager。 选择“集群
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？ 回答 当一个在线的RegionServer突然运行停止，会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运
息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构
在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉？ 回答 当一个在线的RegionServer突然运行停止，会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运
SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
配置HDFS DiskBalancer磁盘均衡 配置场景 DiskBalancer是一个在线磁盘均衡器，旨在根据各种指标重新平衡正在运行的DataNode上的磁盘数据。工作方式与HDFS的Balancer工具类似。不同的是，HDFS Balancer工具用于DataNode节点间的数据均衡，而HDFS
SQL语句和SQL脚本文件查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句中涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
对于可以压缩的数据，配置压缩算法可以有效减少磁盘的IO，从而达到提高性能的目的。 说明： 并非所有数据都可以进行有效压缩。例如一张图片的数据，因为图片一般已经是压缩后的数据，所以压缩效果有限。常用的压缩算法是SNAPPY，因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
库型连接时，只支持文本格式。 BINARY_FILE：表示文本格式以外的二进制文件。 换行符 最终数据的每行结束标识字符。 字段分割符 最终数据的每个字段分割标识字符。 编码类型 最终数据的文本编码类型。只对文本类型文件有效。 generic-jdbc-connector 表2
作业。 MapReduce作业用于提交Hadoop jar程序快速并行处理大量数据，是一种分布式数据处理模式。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
MapReduce服务 MRS MRS集群健康检查 03:25 MRS集群健康检查 MapReduce服务 MRS 在线检索和下载MRS集群日志 03:48 在线检索和下载MRS集群日志 MapReduce服务 MRS 创建MRS集群用户 05:19 创建MRS集群用户 组件知识培训
Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
