检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
val sparkConf = new SparkConf().setAppName("KafkaWordCount") val ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置
补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager，滚动重启Hive以及相关依赖服务，重启MRS Manager服务期间会引起服务暂时不可用，滚动重启服务不断服。 父主题： MRS集群补丁说明
前提条件 已安装IoTDB客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。
放置目录为：组件安装节点的“<集群安装目录>/third_lib/<组件名>”目录。 例如： 将使用HBase服务要用到的jar包文件放入HBase节点的“${BIGDATA_HOME}/third_lib/HBase”内。
上传准备集群认证用户信息获取到的用户认证文件“user.keytab”和“krb5.conf”到“客户端安装目录/IoTDB/iotdb/conf”目录下。
按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装，具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。
除此之外，Spark能够运行于安装Hadoop 2.0 Yarn的集群。
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原
ALM-14033 ZKFC进程状态异常 告警解释 ZKFC每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14033 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称
ALM-12028 主机D状态进程数超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测主机中omm用户D状态进程数，并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值。当检测到进程数超出阈值时产生该告警。 当主机中omm用户D状态进程数小于或等于阈值时，告警恢复
以root用户分别登录主备管理节点，用户密码为安装前用户自定义，请咨询系统管理员，执行su - ommdba命令切换到ommdba用户，执行gs_ctl query命令。查看回显是否显示以下信息。
SparkConf：Spark应用配置类，如设置应用名称，执行模式，executor内存等。 JavaRDD：用于在java应用中定义JavaRDD的类，功能类似于scala中的RDD(Resilient Distributed Dataset)类。
Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原
ALM-50220 TCP包接收错误的次数的比率超过阈值 告警解释 系统每30秒周期性检查TCP包接收错误的次数的比率，当检查到该值超出阈值（默认值为5%）时产生该告警。 当TCP包接收错误的次数的比率低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50220
ALM-27004 DBService主备数据不同步（2.x及以前版本） 告警解释 DBService主备数据不同步，每10秒检查一次主备数据同步状态，如果连续6次查不到同步状态，或者同步状态不正常，产生告警。 当同步状态正常，告警恢复。 告警属性 告警ID 告警级别 可自动清除
ALM-14031 DataNode进程状态异常 告警解释 DataNode每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14031 重要 是 告警参数 参数名称 参数含义
ALM-14034 Router进程状态异常 告警解释 Router每20秒周期性检查进程状态，当进程状态异常，且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14034 重要 是 告警参数 参数名称 参数含义 来源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
