检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1100元。 数据规划 在开始开发应用前，需要创建Hive表，命名为person，并插入数据。同时，创建HBase table2表，用于将分析后的数据写入。 将原日志文件放置到HDFS系统中。 在本地新建一个空白的log1.txt文件，并在文件内写入如下内容。 1,100 在HD
$BIGDATA_LOG_HOME/controller/controller.log，查看controller运行日志，是否有关键字“ERROR”，分析日志查看资源异常原因并修复。 等待五分钟，查看告警是否恢复。 是，操作结束。 否，执行6。 收集故障信息。 在FusionInsight Manager界面，选择“运维
$BIGDATA_LOG_HOME/omm/oms/pms/scriptlog/pms_ha.log，查看ha的pms资源日志，是否有关键字“ERROR”，分析日志查看资源异常原因并修复。 等待五分钟，查看告警是否恢复。 是，操作结束。 否，执行6。 收集故障信息。 在FusionInsight Manager界面，选择“运维
1、报错类找不到：java.lang.NoClassDefFoundError 2、报错方法找不到：java.lang.NoSuchMethodError 原因分析 以自定义UDF为例： 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面， spark自
可能原因 Kafka服务异常。 Flume连接Kafka地址错误，导致发送失败。 Flume发送超过Kafka大小限制的消息，导致发送失败。 原因分析 Flume发送数据到Kafka失败，可能原因是Flume侧问题或者Kafka侧问题。 Manager界面查看当前Kafka状态及监控指标。
0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Request。 原因分析 需要在主Master节点的“/opt/Bigdata/om-server_*/apache-tomcat-*/webapps/web/W
系统可能无法正常写入数据，导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 系统磁盘空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况，增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面，单击“组件管理 > Hive > 服务配置”，将
1、报错类找不到：java.lang.NoClassDefFoundError 2、报错方法找不到：java.lang.NoSuchMethodError 原因分析 以自定义UDF为例： 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面， spark自
1、报错类找不到：java.lang.NoClassDefFoundError 2、报错方法找不到：java.lang.NoSuchMethodError 原因分析 以自定义UDF为例： 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面， spark自
blacklist. Blacklisting behavior can be configured via spark.blacklist.*. 原因分析 内存不足或提交作业时未添加Jar包，导致Spark提交的作业任务长时间处于pending状态。 处理步骤 检查提交作业时是否添加Jar包。
客户购买的MRS Kafka流式集群节点内有多块磁盘，由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。 原因分析 需要提前干预处理磁盘数据，全局的log.retention.hours修改需要重启服务。为了不断服，可以将数据量大的单个topic老化时间根据需要改短。
1、报错类找不到：java.lang.NoClassDefFoundError 2、报错方法找不到：java.lang.NoSuchMethodError 原因分析 以自定义UDF为例： 报错信息显示是找不到类。 首先需要确认的是这个类属于的jar包是否在jvm的classpath里面， spark自
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在HiveQL语句编辑区输入查询语句。 单击并选择“Explain”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击，选择HiveQL语句执行的引擎。
realm”异常 问题背景与现象 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。 原因分析 在Driver端打印异常找不到连接HDFS的Token信息，报错如下： 16/03/22 20:37:10 WARN Client: Exception
licationMaster尝试启动两次失败 问题背景与现象 Yarn-client模式提交任务AppMaster尝试启动两次失败。 原因分析 Driver端异常: 16/05/11 18:10:56 INFO Client: client token: N/A diagnostics:
无业务情况下，RegionServer占用CPU高 问题背景 无业务情况下，RegionServer占用CPU较高。 原因分析 通过top命令获取RegionServer的进程使用CPU情况信息，查看CPU使用率高的进程号。 根据RegionServer的进程编号，获取该进程下线程使用CPU情况。
使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。 节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。 当Core
在Hive表的元数据信息界面，单击右上角的可导入数据，单击可浏览数据，单击可查看表文件的位置信息。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDF
客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。 选
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击开始执行SparkSql语句。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
