检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError
ALM-43017 JDBCServer2x进程Full GC次数超出阈值 告警解释 系统每60秒周期性检测JDBCServer2x进程的Full GC次数，当检测到JDBCServer2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 >
ALM-45009 HetuEngine计算实例任务失败率超过阈值 本章节适用于MRS 3.5.0及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的任务失败率，当检测到HetuEngine计算实例的任务失败率大于等于50%时产生该告警。 HetuEngine
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
Scala样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息，将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollectionPrint
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError
ALM-27006 数据目录磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，并把实际数据目录磁盘空间使用率和阈值相比较，当数据目录磁盘空间使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。数据目录磁盘空间使用率的阈值设为
ALM-38014 Produce请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求的总体时延，当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。 当Produce请求的总体时延小于或等于阈值时，告警消除
ALM-38015 Fetch请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求在请求队列的时延，当检测到某个Broker上的Fetch请求在请求队列的时延连续10次超出阈值时产生该告警。 当Fetch请求在请求队列的时延小于或等于阈值时
ALM-38016 Fetch请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求总体时延，当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。 当Broker实例的Fetch请求总体时延小于或等于阈值时，告警清除。
ALM-43013 JDBCServer2x进程GC时间超出阈值 告警解释 系统每60秒周期性检测JDBCServer2x进程的GC时间，当检测到JDBCServer2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x
ALM-12042 关键文件配置异常 告警解释 系统每隔5分钟检查一次系统中关键的配置是否正确，如果不正常，则上报故障告警。 当检查到配置正确时，则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12042 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称
ALM-14016 DataNode直接内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到DataNode实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ALM-12054 证书文件失效（2.x及以前版本） 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效）。如果证书文件失效，产生该告警。 当重新导入一个正常证书，并且状态不为失效状态，该告警恢复。 告警属性 告警ID 告警级别
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh
ALM-12017 磁盘容量不足 告警解释 系统每30秒周期性检测磁盘使用率，并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值，当检测到磁盘使用率超过阈值时产生该告警。 平滑次数为1，主机磁盘某一分区使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机磁盘某一分区使用率小于或等于阈值的
配置Spark Native引擎 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 Spark Native引擎是通过使用向量化的C++加速库，实现对Spark算子性能加速的一种技术方案。传统的SparkSQL是基于行式数据，通过JVM的codegen来实现查询加速的，由于JVM
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以外的客户端
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
