检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hdfs.dir.threshold 监控HetuEngine作业的大目录阈值，超过当前阈值就会上报事件。 单位：GB。 100 hive.job.hdfs.monitor.dir 监控Hive作业的大目录监控路径，不允许监控根目录。 如果需要监控的目录包含用户目录等可变目录使用/*/代替。
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品，针对企业信息化遇到的困难，为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例，讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码，以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天，如果需要修改操作系统用户密码有效期，可以参考修改MRS操作系统用户密码有效期进行配置。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive数据仓库空间写满后系统将无法正常写入数据，可能导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 HDFS空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDF
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
如重装操作系统、误删除数据、删除服务目录和文件、修改OS系统配置和文件权限、删除“/etc/hosts”配置、直接后台卸载磁盘、修改节点IP地址、删除创建集群时的默认安全组规则等。 不负责对用户在MRS集群环境上自建安装的非MRS提供的第三方组件的问题排查和解决。 智能数据专家服务
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
n数占最大允许数的百分比超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测连接到HiveServer的Session数占HiveServer允许的最大session数的百分比，该指标可在Hive服务监控界面查看。连接到HiveServer的session数占最大允许数
本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务运行失败。 运行失败的任务需要重新提交。 可能原因 任务出于某种错误运行失败。 处理步骤 检查告警详情。
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。
分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 图3 梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。
该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active NameNode：主NameNode，管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息；记录写入的每个“数据块”与其归属文件的对应关系。
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统可能无法正常写入数据，导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 系统磁盘空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况，增
集群组件数据备份恢复 不支持 支持 Manager操作审计日志 不支持 支持 资源监控 支持 支持 MRS集群管理对象说明 MRS集群包含了各类不同的基本对象，不同对象的描述介绍如表2所示。 表2 MRS基本对象概览 对象 描述 举例 组件 可以完成具体业务的一类功能集合。 例如Krb
用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 消息通知 告警管理 MRS可以实时监控大数据集群，通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况，当监控数据达到告警阈值，系统将会触发一条告警信息。
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件，将可信的数据转化为可行的见解。借助直观的人工智能分析平台，帮助人们查看和理解数据并根据数据采取行动，让每一次决策都更加明智。 本章节以Tableau Desktop 2022.2版
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
