检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS HA方案介绍 HDFS HA方案背景 在Hadoop 2.0.0之前，HDFS集群中存在单点故障问题。由于每个集群只有一个NameNode，如果NameNode所在机器发生故障，将导致HDFS集群无法使用，除非NameNode重启或者在另一台机器上启动。这在两个方面影响了HDFS的整体可用性：
HDFS应用开发常用概念 DataNode 将文件切分成大小相同的块（称为“数据块”），存储在不同的DataNode上，并且周期性地向NameNode报告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active
ALM-12041关键文件权限异常（2.x及以前版本） 告警解释 系统每隔一个小时检查一次系统中关键目录或者文件权限、用户、用户组是否正常，如果不正常，则上报故障告警。 当检查到权限等均正常，则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12041 严重 是 告警参数 参数名称
添加Hive的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Hive用户进行相关的权限设置。Hive默认管理员账号为hive，初始密码为Hive@123。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
ALM-12078 omm密码过期 告警解释 系统每天零点开始，每8小时检测当前系统中omm密码是否过期，如果密码过期，则发送告警。 当系统中omm密码过期的期限修改，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12078 重要 是 告警参数 参数名称
配置互信MRS集群的用户权限 配置完跨Manager集群互信后，需要在互信的系统上设置访问用户的权限，这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 已完成跨集群互信配置，然后刷新两个集群的客户端。 配置互信集群的用户权限（MRS 3.x及之后版本） 登录本端系统的FusionInsight
修改MRS集群Manager路由表 安装FusionInsight Manager时系统会自动在主管理节点上创建2条路由信息，执行ip rule list可以查看。 0:from all lookup local 32764:from all to 10.10.100.100
ALM-12042 关键文件配置异常（2.x及以前版本） 告警解释 系统每隔一个小时检查一次系统中关键的配置是否正确，如果不正常，则上报故障告警。 当检查到配置正确时，则告警恢复。 告警属性 告警ID 告警级别 可自动清除 12042 严重 是 告警参数 参数名称 参数含义 ServiceName
使用Hive加载HDFS数据并分析图书评分情况 应用场景 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。
创建FlinkServer作业写入数据至Hive表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 目前FlinkServer对接Hive使用对接metaStore的方式，所以需要Hive开启MetaStore功能。Hive可以作为sink和维表。 本示例以安全模式Kafka为例。
MRS集群管理概述 MRS管理平台概述 用户可以在集群创建完成后，通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。 MRS管理控制台：用户可以通过MRS管理控制台的集群管理页面，进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。
技术支持 MRS服务是租户完全可控的半托管云服务，为用户提供一站式企业级大数据平台，用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。
查看Ranger用户权限同步信息 查看Ranger相关权限设置信息，例如查看用户、用户组、Role。 查看Ranger权限信息 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 选择“Settings >
Kafka日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var
ALM-12016 CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率，并把实际CPU使用率和阈值相比较。CPU使用率默认提供一个阈值范围。当检测到CPU使用率连续多次（可配置，默认值为10）超出阈值范围时产生该告警。 平滑次数为1，CPU使用率小于或等于阈值时，
Yarn日志介绍 日志描述 Yarn相关日志的默认存储路径如下： ResourceManager：“/var/log/Bigdata/yarn/rm”（运行日志），“/var/log/Bigdata/audit/yarn/rm”（审计日志） NodeManager：“/var/l
查看Ranger用户权限同步信息 查看Ranger相关权限设置信息，例如查看用户、用户组、Role。 查看Ranger权限信息 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 选择“Settings >
创建MRS集群用户 默认情况下，系统只有一个用户“admin”具有Manager最高操作权限。管理员应根据实际业务场景需要，通过Manager创建新用户并指定其操作权限以满足业务使用。 MRS 3.x及之后版本，FusionInsight Manager最大支持50000个用户（包括系统内置用户）。
ALM-12077 omm用户过期 告警解释 系统每天零点开始，每8小时检测当前系统中omm用户是否过期，如果用户过期，则发送告警。 当系统中omm用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12077 重要 是 告警参数 参数名称
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
