检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei
Flink业务程序无法读取NFS盘上的文件 用户问题 Flink业务程序无法读取集群节点挂载的NFS盘上的文件。 问题现象 用户开发的Flink业务程序中需要读取用户定义的配置文件，该配置文件放在NFS盘上，NFS盘是挂载在集群节点上的，集群的所有节点均可以访问该盘。用户提交Fl
exist，该日志说明文件在操作的过程中被删除了。 搜索HDFS的NameNode的审计日志（Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log）搜索文件名，确认文件的创建时间。 搜索文件创建到出现异
如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件，例如读取文件的内容，需要如何操作？ 回答 默认情况下，可以在UDF中用文件的相对路径来操作文件，如下示例代码： public String evaluate(String text) { //
如何在Hive自定义函数中操作本地文件 问题 在Hive自定义函数中需要操作本地文件，例如读取文件的内容，需要如何操作？ 回答 默认情况下，可以在UDF中用文件的相对路径来操作文件，如下示例代码： public String evaluate(String text) { //
如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化，在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时，将单个分区打包的最大字节数。
文件错误导致上传文件到HDFS失败 问题背景与现象 用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。 上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。 原因分析 查看NameNode日志“/var/log/Bigdata/hdfs
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败，父目录可以看见此文件（不可见字符）。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常，写入了不可见字符。可以将该文件名重定向写入本地文本中，使用vi命令打开。 hdfs dfs
如何配置HBase文件存储 使用条件 集群版本小于MRS 3.x。 使用场景 HBase文件存储模块（HBase FileStream，简称HFS）是HBase的独立模块，它作为对HBase与HDFS接口的封装，应用在MRS的上层应用，为上层应用提供文件的存储、读取、删除等功能。
由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。 数据规划 首先需要把数据文件放置在HDFS系统里。 本地新建文本文件，将以下内容复制保存到input_data1.txt。 20,30,40,xxx 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1
数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
数据规划 首先需要把原日志文件放置在HDFS系统里。 在Linux系统上新建两个文本文件，将log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
version文件损坏导致启动失败 问题背景 HBase启动失败。 原因分析 HBase启动时会读取hbase.version文件，但是日志显示读取存在异常。 通过hadoop fs -cat /hbase/hbase.version命令发现文件不能正常查看，该文件损坏。 解决办法
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
