检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写HDFS文件 功能简介 写文件过程为： 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
删除HDFS文件 功能简介 删除HDFS上某个指定文件或者文件夹。 被删除的文件或文件夹，会被放在当前用户目录下的.Trash/Current文件夹中。若发生误删除，可从该文件夹中恢复。 代码样例 如下是删除文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs
换行符。 string 否 \n 文件名是否作为字段 自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“文件名是否作为字段”引用文件名环境，选中单选框时是带绝对路径的文件名；不选中单选框时是不带路径的文件名。 boolean 否 不选中 验证输入字段
换行符。 string 否 \n 文件名是否作为字段 自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否 无 绝对路径 配置“文件名是否作为字段”引用文件名环境，选中单选框时是带绝对路径的文件名；不选中单选框时是不带路径的文件名。 boolean 否 不选中 验证输入字段
读HDFS文件 功能简介 获取HDFS上某个指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。 /** * 读文件 * *
String 参数解释： 文件在当前目录下的后缀，如获取“/tmp”目录，下面的“/tmp/test”文件，此处path_suffix内容为“test”。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 owner String 参数解释： 文件拥有者。 约束限制： 不涉及
本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 使用ClickHouse客户端导入导出数据 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名 --port 端口号 --secure
HFS的出现，就是为了解决需要在Hadoop中存储海量小文件，同时也要存储一些大文件的混合场景。简单来说，就是在HBase表中，需要存放大量的小文件（10MB以下），同时又需要存放一些比较大的文件（10MB以上）。 HFS为以上场景提供了统一的操作接口，这些操作接口与HBase的函数接口类似
现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构（适用于MRS 3.x之前版本） 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spa
本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名 --port 端口号 --secure --format_cs
通过HSFabric实现KeyTab文件认证 KeyTab文件认证，需要“jaas-zk.conf”、“krb5.conf”和“user.keytab”文件。 “krb5.conf”和“user.keytab”文件参考MRS组件应用安全认证说明章节获得。 “jaas-zk.conf”文件如下定义，“p
[compression]) path：访问域名/OBS文件路径，登录OBS管理控制台，在左侧导航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。 图1 文件路径 ak：参数可选，具备访问OBS权限的ak。
航栏单击“并行文件系统”，在“并行文件系统”页面单击对应的文件系统名称，在“文件”页面单击文件名称，文件“链接”即path路径，如图1所示。 图1 文件路径 ak：参数可选，具备访问OBS权限的ak。 sk：参数可选，具备访问OBS权限的sk。 format ：文件的格式。 structure：表的结构。
Alluixo在HA模式下出现Does not contain a valid host:port authority报错 用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错，如何处理？ 问题现象 安全集群中
修改集群域名后无法登录Manager页面 问题现象 用户修改域名后，通过console页面无法登录MRS Manager页面，或者登录MRS Manager页面异常。 原因分析 用户修改域名后，没有刷新executor用户的keytab文件，导致executor进程认证失败后不断循环认证，导致了acs进程内存溢出。
在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。
MapReduce任务异常，临时文件未删除 用户问题 MapReduce任务异常临时文件为什么没有删除？ MR任务即MapReduce任务，关于MapReduce介绍请参考MapReduce。 问题现象 HDFS临时目录文件过多，占用内存。 原因分析 MapReduce任务提交时会将相关配置文件、jar
写Alluxio文件 功能简介 写文件过程为： 实例化一个FileSystem。 由此FileSystem实例获取写文件的各类资源。 将待写内容写入到Alluxio的指定文件中。 代码样例 /** * create file,write file */ private void write()
固定宽度文件输入 概述 “固定宽度文件输入”算子，将文件的每一行，按可配置长度的字符或字节，转换成多个输入字段。 输入与输出 输入：文本文件 输出：多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。
固定宽度文件输入 概述 “固定宽度文件输入”算子，将文件的每一行，按可配置长度的字符或字节，转换成多个输入字段。 输入与输出 输入：文本文件。 输出：多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况，填写字符串作为换行符。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
