检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如： rdd
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
Scala样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息，将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
ALM-12042 关键文件配置异常 告警解释 系统每隔5分钟检查一次系统中关键的配置是否正确，如果不正常，则上报故障告警。 当检查到配置正确时，则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12042 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
ALM-14016 DataNode直接内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到DataNode实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ALM-27006 数据目录磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，并把实际数据目录磁盘空间使用率和阈值相比较，当数据目录磁盘空间使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。数据目录磁盘空间
ALM-38014 Produce请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求的总体时延，当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。 当Produce请求的总体时延小于或等于阈值时，告警消除。
ALM-38015 Fetch请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求在请求队列的时延，当检测到某个Broker上的Fetch请求在请求队列的时延连续10次超出阈值时产生该告警。 当Fetch请求在请求队列的时延小于或等于阈值时，告警清除。
ALM-38016 Fetch请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求总体时延，当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。 当Broker实例的Fetch请求总体时延小于或等于阈值时，告警清除。
ALM-43013 JDBCServer2x进程GC时间超出阈值 告警解释 系统每60秒周期性检测JDBCServer2x进程的GC时间，当检测到JDBCServer2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x
ALM-12054 证书文件失效（2.x及以前版本） 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效）。如果证书文件失效，产生该告警。 当重新导入一个正常证书，并且状态不为失效状态，该告警恢复。 告警属性 告警ID 告警级别
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
KrbServer及LdapServer基本原理 KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限，推荐安装安全模式集群。在安全模式下，客户端应用程序在访问集群中的任意资源之前均需要通过身份认证，建立安全会话链接。MRS通过KrbServer为
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以
如何配置Flume定制脚本 Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
