-
ALM-18012 上个周期被终止的Yarn任务数超过阈值(2.x及以前版本) - MapReduce服务 MRS
告警属性 告警ID 告警级别 可自动清除 18012 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无。
-
Spark从HBase读取数据再写入HBase样例程序(Python) - MapReduce服务 MRS
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关api
-
Spark Streaming对接Kafka0-10样例程序(Java) - MapReduce服务 MRS
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10
-
Spark Streaming对接Kafka0-10样例程序(Scala) - MapReduce服务 MRS
Spark Streaming对接Kafka0-10样例程序(Scala) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10
-
Spark从HBase读取数据再写入HBase样例程序(Python) - MapReduce服务 MRS
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关api
-
Spark从Hive读取数据再写入HBase样例程序(Java) - MapReduce服务 MRS
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SparkHivetoHbase
-
Spark从Hive读取数据再写入HBase样例程序(Scala) - MapReduce服务 MRS
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SparkHivetoHbase
-
Spark Streaming对接Kafka0-10样例程序(Java) - MapReduce服务 MRS
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10
-
为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? - MapReduce服务 MRS
为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 问题 为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 回答 Spark SQL对用户
-
ALM-18008 Yarn ResourceManager堆内存使用率超过阈值(2.x及以前版本) - MapReduce服务 MRS
用户可通过“系统设置 > 阈值配置 > 服务 > Yarn”修改阈值。当Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复。
-
ALM-43010 JDBCServer进程堆内存使用超出阈值(2.x及以前版本) - MapReduce服务 MRS
告警属性 告警ID 告警级别 可自动清除 43010 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
-
ALM-43011 JDBCServer进程非堆内存使用超出阈值(2.x及以前版本) - MapReduce服务 MRS
告警属性 告警ID 告警级别 可自动清除 43011 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
-
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 - MapReduce服务 MRS
执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出,日志内容如下。 16/04/19 15:56:22 ERROR
-
在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 - MapReduce服务 MRS
在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCExample
-
ALM-16000 连接到HiveServer的session数占最大允许数的百分比超过阈值(2.x及以前版本) - MapReduce服务 MRS
选择“Hive > 服务配置”,将“基础配置”切换为“全部配置”。 然后查找“hive.server.session.control.maxconnections”,调大该配置项的数值。