检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
queue root.QueueA 原因分析 当前登录的用户无YARN队列提交权限。 解决方案 用户无YARN队列提交权限，需要赋予YARN相应队列的提交权限。在Manager页面的“系统 >权限 > 用户”中给用户绑定队列提交权限的角色。 父主题： 使用Hive
(state=,code=1) 原因分析 当前登录的用户不具备操作此命令的权限。 解决方案 如果登录的当前用户具有admin角色，请用set role admin来切换成admin角色操作。如果不具备admin角色，在Manager页面中给用户绑定对应角色的权限。 父主题： 使用Hive
Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*.jar”。 使用exclusions排
如果“/system/balancer.id”文件的释放时间超过了软租期60s，则第二次执行Balance操作的客户端的append操作会抢占租约，此时最后一个block处于under construction或者under recovery状态，会触发block的恢复操作，那么“/system/balancer
在聚合函数中，FILTER是更符合SQL标准用于过滤的语法，并且能获得更多的性能提升。FILTER是用于聚合函数的修饰符，用于限制聚合中使用的值。 【示例】在某些场景下需要从不同维度来统计UV，如Android中的UV，iPhone中的UV，Web中的UV和总UV，这时可能会使用如下CASE
name=default.fn_test3]] (state=42000,code=40000) 原因分析 Hive中创建永久函数需要特殊的role admin。 解决方案 在执行语句前执行set role admin命令即可解决。 父主题： 使用Hive
MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析后，您可以将数据存储在HDFS中，也可以将集群中的数据导出至OBS系统。HDFS和OBS也支持存储压缩格式的数据，目前支持存储bz2、gz压缩格式的数据。 目前MRS集群支持在线创建如下几种类型的作业：
n下一个RDD的算子。如果直接翻译到物理实现，是很不经济的：一是每一个RDD（即使是中间结果）都需要物化到内存或存储中，费时费空间；二是join作为全局的barrier，是很昂贵的，会被最慢的那个节点拖死。如果子RDD的分区到父RDD的分区是窄依赖，就可以实施经典的fusion优
配置FlinkServer作业中使用UDF 本章节适用于MRS 3.1.2及之后的版本。 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。用户可以在Flink WebUI界面中上传并管理UDF jar包，然后在运行作业时调用相关UDF函数。 Flink支持以下3类自定义函数，如表1。
n下一个RDD的算子。如果直接翻译到物理实现，是很不经济的：一是每一个RDD（即使是中间结果）都需要物化到内存或存储中，费时费空间；二是join作为全局的barrier，是很昂贵的，会被最慢的那个节点拖死。如果子RDD的分区到父RDD的分区是窄依赖，就可以实施经典的fusion优
Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。 图1 RDD的依赖 窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖：指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join
初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie
初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie
Oozie任务运行需要依赖Share Lib中的原生Jar包，Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下，当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。 当用户提交的Oozie作业运行失败时，可以通过该工具对Share
Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 如何处理blob.storage.directory配置/home目录时，启动yarn-session失败的问题？ 为什么非s
stgre驱动包gsjdbc4-*.jar，与开源postgre服务不兼容导致报错。 报错中type为12时：数据库的pg_hba.conf文件配置有误。 解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。
Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set mapreduce.output.fileoutputformat.compress
如果报错的是三方包里面的类，可能是因为Spark已经自带了相关的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示 以MRS_2
如果报错的是三方包里面的类，可能是因为Spark已经自带了相关的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示 以MRS_2
Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
