MapReduce服务 MRS-Alluxio常用操作:Alluxio中的挂载功能

时间:2025-02-12 14:58:21

Alluxio中的挂载功能

Alluxio通过统一命名空间的特性统一了对存储系统的访问。详情请参考:https://docs.alluxio.io/os/user/2.0/cn/advanced/Namespace-Management.html

这个特性允许用户挂载不同的存储系统到Alluxio命名空间中并且通过Alluxio命名空间无缝地跨存储系统访问文件。

  1. 在Alluxio中创建一个目录作为挂载点。
    alluxio fs mkdir /mnt
    Successfully created directory /mnt
  2. 挂载一个已有的OBS文件系统到Alluxio(前提:给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式))。此处以obs-mrstest文件系统为例,请根据实际情况替换文件系统名。
    alluxio fs mount /mnt/obs obs://obs-mrstest/data
    Mounted obs://obs-mrstest/data at /mnt/obs
  3. 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。
    alluxio fs ls /mnt/obs
    38       PERSISTED 11-28-2019 17:42:54:554   0% /mnt/obs/hive_load.txt12       PERSISTED 11-28-2019 17:43:07:743   0% /mnt/obs/test_input.txt

    新挂载的文件和目录也可以通过Alluxio WebUI查看。

  4. 挂载完成后,通过Alluxio统一命名空间,可以无缝地从不同存储系统中交互数据。例如,使用ls -R命令,递归地列举出一个目录下的所有文件。
    alluxio fs ls -R /
            0       PERSISTED 11-28-2019 11:15:19:719  DIR /app-logs        1       PERSISTED 11-28-2019 11:18:36:885  DIR /apps        1       PERSISTED 11-28-2019 11:18:40:209  DIR /apps/templeton239440292       PERSISTED 11-28-2019 11:18:40:209   0% /apps/templeton/hive.tar.gz.....        1       PERSISTED 11-28-2019 19:00:23:879  DIR /mnt        2       PERSISTED 11-28-2019 19:00:23:879  DIR /mnt/obs       38       PERSISTED 11-28-2019 17:42:54:554   0% /mnt/obs/hive_load.txt       12       PERSISTED 11-28-2019 17:43:07:743   0% /mnt/obs/test_input.txt.....

    输出显示了Alluxio文件系统根目录(默认值是HDFS的根目录,即hdfs://hacluster/)中来源于挂载存储系统的所有文件。/app-logs和/apps目录在HDFS文件系统中,/mnt/obs/目录在OBS中。

support.huaweicloud.com/cmpntguide-mrs/mrs_01_0757.html