云数据迁移 CDM-执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run”:故障分析

时间：2024-05-30 15:52:05

云数据迁移 CDM 故障处理类

故障分析

排查客户 CDM 昨天日志报错发现报错：2021-09-29 10:35:32,638 ERROR LocalJobRunner Map Task #13 #loader [org.apache.sqoop.connector.hive.hiveWriter.HiveOrcWriter:83] Create file system error.

java.nio.file.AccessDeniedException: obs-itotshujuruhu-bingxing-fangcongyang: doesBucketExist on obs-itotshujuruhu-bingxing-fangcongyang: com.obs.services.exception.ObsException: Error message:Request Error.OBS servcie Error Message. -- ResponseCode: 403

点击放大

根据报错“hiveWriter.HiveOrcWriter:83] Create file system error”以及“Error.OBS servcie Error Message. -- ResponseCode: 403”考虑是Hive同步表到OBS目录报错。用户配置连接器时候，没有打开OBS开关。
检查连接器配置，发现没有打开开关，参数含义是“是否支持OBS存储，如果Hive表数据存储在OBS，需要打开此开关”。