检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击开始执行SparkSql语句。
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在HiveQL语句编辑区输入查询语句。 单击并选择“Explain”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击，选择HiveQL语句执行的引擎。
realm”异常 问题背景与现象 认证异常导致提交Spark任务失败，报“Can't get the Kerberos realm”异常。 原因分析 在Driver端打印异常找不到连接HDFS的Token信息，报错如下： 16/03/22 20:37:10 WARN Client: Exception
licationMaster尝试启动两次失败 问题背景与现象 Yarn-client模式提交任务AppMaster尝试启动两次失败。 原因分析 Driver端异常: 16/05/11 18:10:56 INFO Client: client token: N/A diagnostics:
无业务情况下，RegionServer占用CPU高 问题背景 无业务情况下，RegionServer占用CPU较高。 原因分析 通过top命令获取RegionServer的进程使用CPU情况信息，查看CPU使用率高的进程号。 根据RegionServer的进程编号，获取该进程下线程使用CPU情况。
客户端来以命令行形式提交作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。 选
单击指定的表名，可以显示表中所有的列。 光标移动到表所在的行，单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”，编辑器将分析输入的查询语句是否有语法错误以及执行计划，如果存在语法错误则显示“Error while compiling statement”。 单击开始执行SparkSql语句。
"reducesCompleted":1 } ] } } 结果分析： 通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime
scala:247) 可能原因 用户不属于kafkaadmin组，Kafka提供安全访问接口，kafkaamdin组用户才可以进行topic删除操作。 原因分析 使用客户端命令，打印NoAuthException异常。 Error while executing topic command org
java:1781) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2254) )' 原因分析 根据堆栈信息，可以看出在检查子目录的权限时失败。 org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker
examples/jars/spark-examples_2.11-2.2.1-mrs-1.7.0.jar ，结果如下图所示。 回答 原因分析： 在yarn-client模式下执行任务时，Spark的Driver程序在本地执行；其中通过-Dlog4j.configuration=
客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查看当前Ka
提交拓扑中没有包含用户的keytab文件。 提交拓扑中包含的keytab和提交用户不一致。 客户端/tmp目录下已存在user.keytab，且宿主非运行用户。 原因分析 查看日志发现异常信息Can not found user.keytab in storm.jar。具体信息如下： [main] INFO
可能导致部分数据丢失。 可能原因 Hive使用HDFS容量上限过小。 HDFS空间不足。 部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况，增加HDFS分配给Hive使用的容量上限。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称
0条数据。每一个表上都有过滤条件，其Join关系如所图2示： 图2 Join关系 CBO应该先选择能起到更好过滤效果的表来Join。 通过分析min，max，NDV，以及数据条数。CBO估算出不同维度表的选择率，详情如表1所示。 表1 数据过滤 表名 原始数据条数 过滤后数据条数
图1 Hudi基本架构 Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性能准实时摄取，为查询提供最新数据。 支持并发读写，基于snapshot的隔离机制实现写入时可读取。
使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。 节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。 当Core
中的表“table1”的“name”列有Create和select的权限，而对于其他列则没有任何的访问权限。 参见快速使用Hive进行数据分析登录Hive客户端，验证Ranger是否已经完成集成Hive。 以客户端安装用户登录客户端安装节点，执行如下命令，进入hive beeline。
(kafka.admin.TopicCommand$) 可能原因 Kafka服务处于停止状态。 客户端命令中ZooKeeper地址参数配置错误。 原因分析 使用客户端命令，打印NoNodeException异常。 Error while executing topic command : org
from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=1) 原因分析 MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
