检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件块过大导致HBase数据导入失败 问题现象 导入数据到hbase报错:NotServingRegionException。 原因分析 当一个block size大于2G时,hdfs在seek的时候会出现读取异常,持续频繁写入regionserver时出现了full gc,且时
FSNamesystem.java:3937) 根因分析:被上传的文件损坏,因此会上传失败。 验证办法:cp或者scp被拷贝的文件,也会失败,确认文件本身已损坏。 解决办法 文件本身损坏造成的此问题,采用正常文件进行上传。 父主题: 使用HDFS
//失效时间 导入证书文件。 导入新的CA证书文件。 请联系运维人员申请或生成新的CA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 如果当前为Ranger证书过期,则请参考Ranger证书如何更新?章节进行处理。 是,执行8。 否,处理完毕。 导入新的HA证书文件。
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端,在该客户端使用hdfs命令上传一个文件,报如下错误: 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host,且报错信息里面有192
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
exist,该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志(Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log)搜索文件名,确认文件的创建时间。 搜索文件创建到出现异
HDFS目录配额不足导致写文件失败 问题背景与现象 给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。 [omm@189-39-150-115 client]$ hdfs dfs
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败,父目录可以看见此文件(不可见字符)。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常,写入了不可见字符。可以将该文件名重定向写入本地文本中,使用vi命令打开。 hdfs dfs
duce会报类找不到。 处理步骤 方案一: 如果文件较小,则可以将默认长度设置得大于文件最大长度,例如最大的文件是95 MB,则设置: hive.exec.copyfile.maxsize=104857600 方案二: 如果确实文件较大,需要使用distcp任务来提高数据迁移效率
HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败,客户端提示数据块没有足够副本数。 客户端日志: 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW
version文件损坏导致启动失败 问题背景 HBase启动失败。 原因分析 HBase启动时会读取hbase.version文件,但是日志显示读取存在异常。 通过hadoop fs -cat /hbase/hbase.version命令发现文件不能正常查看,该文件损坏。 解决办法 执行hbase
DBService配置文件丢失导致启动失败 问题背景与现象 节点异常下电,重启备DBService失败。 原因分析 查看/var/log/Bigdata/dbservice/DB/gaussdb.log日志没有内容。 查看/var/log/Bigdata/dbservice/sc
HDFS读文件失败报错“No common protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败,报“No common protection layer between client and server”。 在集群外的机器,执行任意hadoop命令,如hadoop
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
ClickHouse数据导入导出 使用ClickHouse客户端导入导出数据 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
HDFS写文件失败,报错“item limit of xxx is exceeded” 问题背景与现象 客户端或者上层组件日志报往HDFS的某目录写文件失败,报错为: The directory item limit of /tmp is exceeded: limit=5 items=5。
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
[compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。 图1 文件路径 ak:参数可选,具备访问OBS权限的ak。
航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。 图1 文件路径 ak:参数可选,具备访问OBS权限的ak。 sk:参数可选,具备访问OBS权限的sk。 format :文件的格式。 structure:表的结构。