检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1、报错类找不到：java.lang.NoClassDefFoundError 2、报错方法找不到：java.lang.NoSuchMethodError 原因分析 以自定义UDF为例： 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面， spark自
1、报错类找不到：java.lang.NoClassDefFoundError 2、报错方法找不到：java.lang.NoSuchMethodError 原因分析 以自定义UDF为例： 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面， spark自
客户购买的MRS Kafka流式集群节点内有多块磁盘，由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。 原因分析 需要提前干预处理磁盘数据，全局的log.retention.hours修改需要重启服务。为了不断服，可以将数据量大的单个topic老化时间根据需要改短。
blacklist. Blacklisting behavior can be configured via spark.blacklist.*. 原因分析 内存不足或提交作业时未添加Jar包，导致Spark提交的作业任务长时间处于pending状态。 处理步骤 检查提交作业时是否添加Jar包。
在Hive表的元数据信息界面，单击右上角的可导入数据，单击可浏览数据，单击可查看表文件的位置信息。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDF
客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。 选
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在HiveQL语句编辑区输入查询语句。 单击并选择“Explain”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击，选择HiveQL语句执行的引擎。
realm”异常 问题背景与现象 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。 原因分析 在Driver端打印异常找不到连接HDFS的Token信息，报错如下： 16/03/22 20:37:10 WARN Client: Exception
licationMaster尝试启动两次失败 问题背景与现象 Yarn-client模式提交任务AppMaster尝试启动两次失败。 原因分析 Driver端异常: 16/05/11 18:10:56 INFO Client: client token: N/A diagnostics:
无业务情况下，RegionServer占用CPU高 问题背景 无业务情况下，RegionServer占用CPU较高。 原因分析 通过top命令获取RegionServer的进程使用CPU情况信息，查看CPU使用率高的进程号。 根据RegionServer的进程编号，获取该进程下线程使用CPU情况。
使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。 节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。 当Core
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击开始执行SparkSql语句。
"reducesCompleted":1 } ] } } 结果分析： 通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime
scala:247) 可能原因 用户不属于kafkaadmin组，Kafka提供安全访问接口，kafkaamdin组用户才可以进行topic删除操作。 原因分析 使用客户端命令，打印NoAuthException异常。 Error while executing topic command org
java:1781) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2254) )' 原因分析 根据堆栈信息，可以看出在检查子目录的权限时失败。 org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker
"reducesCompleted":1 } ] } } 结果分析： 通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime
提交拓扑中没有包含用户的keytab文件。 提交拓扑中包含的keytab和提交用户不一致。 客户端/tmp目录下已存在user.keytab，且宿主非运行用户。 原因分析 查看日志发现异常信息Can not found user.keytab in storm.jar。具体信息如下： [main] INFO
run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) 原因分析 业务量大导致连接DBService的最大连接数超过了300，需要修改DBService的最大连接数。 解决办法 进入DBService服务配置页面：
可能导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 HDFS空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况，增加HDFS分配给Hive使用的容量上限。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击开始执行SparkSql语句。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
