华为云首页用户手册

MAPREDUCE服务 MRS-JSON表中有破损数据导致Hive查询异常:处理步骤

MAPREDUCE服务 MRS-JSON表中有破损数据导致Hive查询异常:处理步骤

时间：2024-08-27 10:23:56

MAPREDUCE服务 MRS

处理步骤

下载json-serde-1.3.8-jar-with-dependencies.jar到本地，并将该Jar上传到所有的HiveServer所在节点。
以客户端安装用户，登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。
执行以下命令认证用户。

cd 客户端安装目录

source bigdata_env

kinit 具有Hive管理员权限的用户（未开启Kerberos认证的集群跳过此操作）
执行以下命令在HDFS上创建Jar包存放目录。

hdfs dfs -mkdir Jar包存放在hdfs中的路径
执行以下命令将2的Jar上传至HDFS中。

hdfs dfs -put Jar包存放路径 Jar包存放在hdfs中的路径
执行以下命令让Hive在执行命令行任务时加载指定Jar包。

beeline

set role admin;（未开启Kerberos认证的集群跳过此操作）

add jar Jar包存放在hdfs中的路径;
执行以下命令重新创建表：

create external table if not exists test (

name string

)

row format serde 'org.openx.data.jsonserde.JsonSerDe'

stored as textfile

location 'hdfs://hacluster/user/hive/warehouse/database/table/jsondata';
执行以下命令修改表属性忽略破损的JSON数据：

ALTER TABLE test SET SERDEPROPERTIES( "ignore.malformed.json" = "true");

设置该属性后，查询表时若表中有破损的JSON数据默认显示为“NULL”。
执行以下命令查询表数据：

select * from test;

数据查询成功则表示已忽略破损的JSON数据，其中，破损的JSON数据显示为“NULL”：

上一篇：MAPREDUCE服务 MRS-JSON表中有破损数据导致Hive查询异常:用户问题

下一篇：MAPREDUCE服务 MRS-JSON表中有破损数据导致Hive查询异常:用户问题

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-JSON表中有破损数据导致Hive查询异常:处理步骤

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题