检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何上传本地文件到集群内节点？ 登录MapReduce服务管理控制台。 选择“现有集群”，单击集群名，进入集群基本信息页面。 在“节点管理”页签单击任一节点名称，登录到弹性云服务器管理控制台。 参见申请弹性公网IP为集群的节点绑定一个弹性IP地址。 参考上传文件到云服务器方式概览，将本地文件上传到集群节点。
FSNamesystem.java:3937) 根因分析：被上传的文件损坏，因此会上传失败。 验证办法：cp或者scp被拷贝的文件，也会失败，确认文件本身已损坏。 解决办法 文件本身损坏造成的此问题，采用正常文件进行上传。 父主题： 使用HDFS
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
WebUI界面。 选择“驱动管理 > 上传驱动”，在弹出的窗口选择本地已准备的数据库驱动文件，单击“打开”，等待驱动上传完成。 在“驱动管理”界面，查看驱动文件名列表是否显示正常。 如果驱动不再使用，或者上传错误，可单击“删除”，删除对应驱动文件。 驱动文件列表较多时，可通过搜索框快速检索。
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端，在该客户端使用hdfs命令上传一个文件，报如下错误： 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host，且报错信息里面有192
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
若选择本地文件，则需在“选择文件”界面，单击“上传文件”，上传本地文件，文件上传成功后，选择该文件即可。 如果执行的Shell文件需要传递参数，可单击“参数+”设置参数。 传递参数的顺序需要和Shell脚本中保持一致。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflo
MapReduce任务提交前对输入文件数的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内存的比值，例如500000/4（默认值），表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法 进入Hive服务配置页面：
小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。
此，小文件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能，用户可设置合并后的平均文件大小。 支持的表类型 Spark：Parquet、ORC、CSV、Text、Json。
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
MapReduce任务异常，临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除？ MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多，占用内存。 原因分析 MapReduce任务提交时会将相关配置文件、jar
块大小。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 length Integer 参数解释： 文件长度。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 type String 参数解释： 文件类型。 约束限制： 不涉及 取值范围： FILE：文件 DIRECTORY：目录
换行符。 string 否 \n 文件名是否作为字段 自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“文件名是否作为字段”引用文件名环境，选中单选框时是带绝对路径的文件名；不选中单选框时是不带路径的文件名。 boolean 否 不选中 验证输入字段
换行符。 string 否 \n 文件名是否作为字段 自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“文件名是否作为字段”引用文件名环境，选中单选框时是带绝对路径的文件名；不选中单选框时是不带路径的文件名。 boolean 否 不选中 验证输入字段
现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构（适用于MRS 3.x之前版本） 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spa
map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： aaa,product bbb,Bigdata 配置“文件输出”算子，分隔符为“,”，将A和B输出到文件中： 输出后的结果如下： aaa,product bbb
map 否 无 数据处理规则 将字段值输出到文件。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： aaa,product bbb,Bigdata 配置“文件输出”算子，分隔符为“,”，将A和B输出到文件中： 输出后的结果如下： aaa,product bbb
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
