-
Flink对接OBS文件系统 - MapReduce服务 MRS
运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
-
在Hue页面上传大文件失败 - MapReduce服务 MRS
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时,上传失败。 回答 不建议使用Hue文件浏览器上传大文件,大文件建议使用客户端通过命令上传。 如果必须使用Hue上传,参考以下步骤修改Httpd的参数: 以omm用户登录主管理节点。
-
优化小文件场景下的Spark SQL性能 - MapReduce服务 MRS
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中,经常会存在很多小文件(大小远小于HDFS块大小),每个小文件默认对应Spark中的一个Partition,也就是一个Task。在很多小文件场景下,Spark会起很多Task。
-
固定宽度文件输入 - MapReduce服务 MRS
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。
-
删除HDFS指定文件 - MapReduce服务 MRS
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
-
写Alluxio文件 - MapReduce服务 MRS
写Alluxio文件 功能简介 写文件过程为: 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到Alluxio的指定文件中。
-
追加HDFS文件内容 - MapReduce服务 MRS
追加HDFS文件内容 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 实例化一个FileSystem。 由此FileSystem实例获取各类相关资源。 将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。
-
导出认证凭据文件 - MapReduce服务 MRS
在需导出文件的用户所在行,选择“更多 > 下载认证凭据”,待文件自动生成后指定保存位置,并妥善保管该文件。 认证凭据中会携带kerberos服务的“krb5.conf”文件。 解压认证凭据文件后可以获取两个文件: “krb5.conf”文件包含认证服务连接信息。
-
下载用户认证文件 - MapReduce服务 MRS
在需导出keytab文件用户所在的行,选择“更多 > 下载认证凭据”下载认证文件,待文件自动生成后指定保存位置,并妥善保管该文件。 使用解压程序打开认证文件。 “user.keytab”表示用户keytab文件,用于认证用户身份。
-
固定宽度文件输入 - MapReduce服务 MRS
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。
-
删除HDFS指定文件 - MapReduce服务 MRS
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
-
删除HDFS指定文件 - MapReduce服务 MRS
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
-
删除HDFS指定文件 - MapReduce服务 MRS
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。
-
读Alluxio文件 - MapReduce服务 MRS
读Alluxio文件 功能简介 获取Alluxio上某个指定文件的内容。
-
集群HDFS文件接口 - MapReduce服务 MRS
集群HDFS文件接口 获取指定目录文件列表 父主题: API V2
-
Flume对接OBS文件系统 - MapReduce服务 MRS
在OBS控制台并行文件系统列表中,单击已新建的文件系统名称进入详情页面。 在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 准备properties.properties文件并将上传至“/opt/flumeInput”目录。
-
ALM-19012 HBase系统表目录或文件丢失 - MapReduce服务 MRS
ALM-19012 HBase系统表目录或文件丢失 告警解释 系统按120秒周期性检测HBase在HDFS上的如下目录和文件是否存在,当检测到文件或者目录不存在时,上报该告警。当文件或目录都恢复后,告警恢复。 检查内容: 命名空间hbase在HDFS上的目录。
-
上传数据 - MapReduce服务 MRS
请确保导出的文件夹为非空文件夹,如果导出的文件夹为空文件夹,OBS无法显示该文件夹,仅生成一个命名为“folder name_$folder$”的文件。 单击“确定”。 文件上传进度可在“文件操作记录”中查看。
-
读取HDFS指定文件内容 - MapReduce服务 MRS
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。
-
读取HDFS指定文件内容 - MapReduce服务 MRS
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。