MAPREDUCE服务 MRS-通过Sqoop从Hive导出数据到MySQL 8.0时报数据格式错误:处理步骤
下载MAPREDUCE服务 MRS用户手册完整版
处理步骤
确认分隔符、表字段的格式无问题，在sqoop语句中添加--columns绑定对应字段。
sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段（多个列用英文逗号分开） -export-dir 导出地址 --fields-terminated-by 分隔符 --input-null-string '\\N' --input-null-non-string '\\N' -m 1
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
样例：
sqoop export --connect jdbc:mysql://192.168.0.6:3306/lidengpeng --username root --password 用户密码 --table hkatg_agr_prod_city_summ --columns year,city_name,city_code,prod_code,prod_name,prod_type,sown_area,area_unit,yield_wegt,yield_unit,total_wegt,total_wegt_unit,data_sorc_code,etl_time -export-dir hdfs://hacluster/user/hive/warehouse/dm_agr_prod_city_summ02 --fields-terminated-by ',' --input-null-string '\\N' --input-null-non-string '\\N' -m 1
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MySQLdump导入数据库_MySQL建立数据库_MySQL数据库导出
- mysql数据库入门_mysql数据库备份命令_mysql数据库导出
- MySQL导出整个数据库_MySQL数据库引擎_MySQL数据库工具
- 什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Hive_如何使用Hive
- 什么是Spark_如何使用Spark_Spark的功能是什么
