MAPREDUCE服务 MRS-HDFS应用开发简介:常用概念

时间:2024-10-18 17:22:32

常用概念

  • Colocation

    同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是,将那些需进行关联操作的文件存放在相同的数据节点上,在进行关联操作计算时,避免了到别的数据节点上获取数据的动作,大大降低了网络带宽的占用。

  • Client

    HDFS Client主要包括五种方式:JAVA API、C API、Shell、HTTP REST API、WEB UI五种方式,可参考常用API介绍HDFS Shell命令介绍

    • JAVA API

      提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。

    • C API

      提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。

    • Shell

      提供shell命令完成HDFS文件系统的基本操作。

    • HTTP REST API

      提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。

    • WEB UI

      提供Web可视化组件管理界面。

  • keytab文件

    存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。

support.huaweicloud.com/devg3-mrs/mrs_07_090002.html