检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
html 获取集群的配置文件 参考安装MRS集群客户端,下载并解压客户端。 获取下载的HDFS客户端配置文件(下载路径/HDFS/hadoop/etc/hadoop)中的“core-site.xml”、“hdfs-site.xml”。获取Yarn客户端配置文件(下载路径/Yarn/config)中的“core-site
CarbonData数据加载时,默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon.dataload.group.name”的值。其默认值为“ficommon”。 父主题: CarbonData常见问题
Permission denied”异常? 回答 在执行HBase shell期间,JRuby会在“java.io.tmpdir”路径下创建一个临时文件,该路径的默认值为“/tmp”。如果为“/tmp”目录设置NOEXEC权限,然后HBase shell会启动失败并发生“java.lang
ImportTsv工具在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”文件中“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。因此客户端(kerberos用户)应该在指定的临时目录上具有rwx的权限来执行ImportTsv操作。“hbase
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** *
java:300) 检查HDFS上表目录下所有文件目录的权限,发现有一个目录权限为700(只有文件属主能够访问),确认存在异常目录。 解决办法 确认该文件是否为手动异常导入,如不是数据文件或目录,删除该文件或目录。 当无法删除时,建议修改文件或目录权限为770。 父主题: 使用Hive
Permission denied”异常? 回答 在执行HBase shell期间,JRuby会在“java.io.tmpdir”路径下创建一个临时文件,该路径的默认值为“/tmp”。如果为“/tmp”目录设置NOEXEC权限,然后HBase shell会启动失败并发生“java.lang
ImportTsv工具在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”文件中“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。因此客户端(kerberos用户)应该在指定的临时目录上具有rwx的权限来执行ImportTsv操作。“hbase
site.properties , 当alluxio-site.properties文件被读取到则跳过剩余路径的查找,所以请根据实际环境情况存放alluxio-site.properties文件。 在Linux环境下执行运行样例程序。 chmod +x /opt/alluxio_examples
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映射关系,只保留节点与LocatorId的映射关系。当文件使用Colocation接口创建时,系统会将文件创建在LocatorId所对应的节点上。文件创建和写入要求使用Colocation相关接口。
删除临时路径的文件。转移临时文件存在同名文件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。无扩展名的文件直接增加字符串后缀,有扩展名的文件在文件名增加字符串后缀。字符串具有唯一性。 “APPEND”:在旧文件尾部合并新文件内容。合并操作只
选择“并行文件系统 > 创建并行文件系统”,创建一个名称为wordcount01的文件系统。 wordcount01仅为示例,文件系统名称必须全局唯一,否则会创建并行文件系统失败。 在OBS文件系统列表中单击文件系统名称wordcount01,选择“文件 > 新建文件夹”,分别创
自动根据文件的后缀选择对应的解压方法,对文件进行解压。 TEXT_FILE 文件分割方式 选择按文件或大小分割源文件,作为数据导出的MapReduce任务中各个map的输入文件。 选择“FILE”,表示按文件分割源文件,即每个map处理一个或多个完整的源文件,同一个源文件不可分配
HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件
hdfs-example-normal HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件
HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。相关业务场景介绍请参见开发HDFS应用。 hdfs-c-example