检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况： 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio主要特点如下： 提供内存级I/O
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Storm”，查看当前Storm状态，发现状态为良好，且监控指标内容显示正确。 FusionInsight
ALM-12004 OLdap资源异常 告警解释 系统按60秒周期检测Ldap资源，当连续6次监控到Manager中的Ldap资源异常时，系统产生此告警。 当Manager中的Ldap资源恢复，且告警处理完成时，告警恢复。 MRS 3.3.1及之后版本，告警名称从“Oldap资源异常”变成“Manager
本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）检查作业RocksDB监控数据，如果作业RocksDB持续触发写限流，即作业
配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/
0个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。 通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception
Flume传输数据异常（2.x及以前版本） 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统发送告警。 用户可通过配置修改阈值：修改对应channel的“channelfullcount”参数。
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
DefaultMetricsConsumer：表示不收集OBS监控指标 要使用OBS监控功能，需确保上报OBS监控指标开关打开。 org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider 父主题： 使用Spark/Spark2x
0个map和10000个reduce，任务失败。 回答 ZooKeeper IO瓶颈观测手段： 通过Manager的监控页面查看单个节点上ZooKeeper请求监控，判断是否严重超出规格限制。 通过观测ZooKeeper的日志以及HBase的日志，查看是否有大量的IO Exception
ALM-12040 系统熵值不足（2.x及以前版本） 告警解释 每天零点系统检查熵值，每次检查都连续检查五次，首先检查是否启用并正确配置了rng-tools工具，如果没有配置，则继续检查当前熵值，如果五次均小于500，则上报故障告警。 当检查到真随机数方式已经配置或者伪随机数方式
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码，以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天，如果需要修改操作系统用户密码有效期，可以参考修改MRS操作系统用户密码有效期进行配置。
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在
Alluxio Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中，Alluxio位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以
Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点： 高吞吐量 消息持久化到磁盘 分布式系统易扩展 容错性好
为什么主NameNode重启后系统出现双备现象 问题 为什么主NameNode重启后系统出现双备现象？ 出现该问题时，查看ZooKeeper和ZKFC的日志，发现ZooKeeper服务端与客户端（ZKFC）通信时所使用的session不一致，ZooKeeper服务端的sessio
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
