检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh
KrbServer及LdapServer基本原理 KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限，推荐安装安全模式集群。在安全模式下，客户端应用程序在访问集群中的任意资源之前均需要通过身份认证，建立安全会话链接。MRS通过KrbServer为所有组件提供
ALM-12042 关键文件配置异常 告警解释 系统每隔5分钟检查一次系统中关键的配置是否正确，如果不正常，则上报故障告警。 当检查到配置正确时，则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12042 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称
ALM-14016 DataNode直接内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS服务直接内存使用状态，当检测到DataNode实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除
ALM-27006 数据目录磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，并把实际数据目录磁盘空间使用率和阈值相比较，当数据目录磁盘空间使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。数据目录磁盘空间使用率的阈值设为
ALM-38014 Produce请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Produce请求的总体时延，当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。 当Produce请求的总体时延小于或等于阈值时，告警消除
ALM-38015 Fetch请求在请求队列的时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求在请求队列的时延，当检测到某个Broker上的Fetch请求在请求队列的时延连续10次超出阈值时产生该告警。 当Fetch请求在请求队列的时延小于或等于阈值时
ALM-38016 Fetch请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求总体时延，当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。 当Broker实例的Fetch请求总体时延小于或等于阈值时，告警清除。
ALM-43013 JDBCServer2x进程GC时间超出阈值 告警解释 系统每60秒周期性检测JDBCServer2x进程的GC时间，当检测到JDBCServer2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x
ALM-12054 证书文件失效（2.x及以前版本） 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效（即当前集群中的证书文件是否过期，或者尚未生效）。如果证书文件失效，产生该告警。 当重新导入一个正常证书，并且状态不为失效状态，该告警恢复。 告警属性 告警ID 告警级别
自动弹性伸缩 特性简介 随着企业的数据越来越多，越来越多的企业选择使用Spark/Hive等技术来进行分析，由于数据量大，任务处理繁重，资源消耗较高，因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析，而一般是在一天的一个时间段内进行分析汇总，因此MRS提供了弹性伸缩能力
使用ZooKeeper客户端 ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以外的客户端
补丁安装后操作 升级客户端 如果有使用自主安装的客户端（集群内、外新下载客户端），需要执行客户端升级操作。 登录集群主节点并执行以下命令： cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下： scp
ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的HFile文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步
添加MRS集群Task节点弹性伸缩策略 操作视频 本视频为您分别介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 创建MRS集群时配置弹性伸缩 创建集群时，弹性伸缩功能可以通过在高级配置参数中进行配置
使用ZooKeeper客户端 Zookeeper是一个开源的，高可靠的，分布式一致性协调服务。Zookeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以外的客户端
包年/包月 包年/包月是一种先付费再使用的计费模式，适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景： 用户基于业务需求可预估资源使用周期
Spark执行应用时上报“Connection to ip:port has been quiet for xxx ms while there are outstanding requests”并导致应用结束 问题 Spark执行应用时上报如下类似错误并导致应用结束。 2016-
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
