检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive查询结果表做压缩存储（ARC4），对结果表做select * 查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set mapreduce.output.fileoutputformat.compress
LDAP/KrbServer服务不可用会导致Hive服务状态为Bad。 MetaStore实例不可用会导致Hive服务状态为Bad。 解决方案 DBservice服务不可用请参考ALM-27001 DBService服务不可用。 HDFS服务不可用请参考ALM-14000 HDFS服务不可用。
理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = fals
理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = fals
的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示 以MRS_2.1版本为例： 在pom
的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示 以MRS_2.1版本为例： 在pom
的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示 以MRS_2.1版本为例： 在pom
的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示 以MRS_2.1版本为例： 在pom
其它目录和文件是否有读写权限，如果该目录不存在，会去判断其父目录，依次类推。如果一直不满足就会报权限不足。而不是报指定的目录不存在。 解决方案 请确认当前用户为路径“/tmp/aaa/aaa”的owner有读写权限，如果该路径不存在，确认对其父路径有读写权限。 父主题： 使用Hive
多个HiveServer之间或者Hive与Spark之间共用的元数据未同步，导致不同HiveServer实例内存数据不一致，造成UDF不生效。 解决方案 需要将新建的UDF信息同步到HiveServer中，执行reload function操作即可。 父主题： 使用Hive
Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。
Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python pipeline运行报139错误码规避方案 Structured Streaming 任务提交方式变更 常见jar包冲突处理方式 父主题： Spark2x开发指南（普通模式）
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python pipeline运行报139错误码规避方案 Structured Streaming 任务提交方式变更 常见jar包冲突处理方式 父主题： Spark2x开发指南（普通模式）
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
rent -server -XX\:MetaspaceSize\=128M -XX\:MaxMetaspaceSize\=256M 解决方案 因此遇到此类异常应该检查最近的变更项，以确认是否配置有误。 METASTORE_GC_OPTS=Xms1024M -Xmx2048M -
park SQL样例程序。 增强特性 对比开源社区，华为还提供了两个增强特性，JDBCServerHA方案和设置JDBCServer连接的超时时间。 JDBCServerHA方案，多个JDBCServer主节点同时提供服务，当其中一个节点发生故障时，新的客户端连接会分配到其他主节
authentication failed No password provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source 集群客户端安装目录/bigdata_env命令。 可通过klist命令查看本地是否有有效
Doris全面综合的性能表现也能在轻量化大数据场景中独立承担数据从加工到查询的全链路数据处理需求。 实时OLAP场景化方案 实时OLAP场景化方案如图1所示。 图1 实时OLAP场景化方案 数据源：业务系统产生的数据，可以是离线的文件数据，关系型数据库数据，或者实时采集的流式数据等。 大数据平
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
