MAPREDUCE服务 MRS-使用CDM服务迁移Hadoop数据至MRS集群:步骤2:新建迁移作业

时间:2024-12-06 11:03:56

步骤2:新建迁移作业

  1. 在“表/文件迁移” 页签,单击“新建作业”。
  2. 选择源连接、目的连接:

    • 作业名称:用户自定义任务名称,名称由英文字母、下划线或者数字组成,长度必须在1到256个字符之间。
    • 源连接名称:选择迁移源端集群的HDFS连接,作业运行时将从此端复制导出数据。
    • 目的连接名称:选择迁移目的端集群的HDFS连接,作业运行时会将数据导入此端。

  3. 请参见配置HDFS源端参数配置源端连接的作业参数,需要迁移的文件夹可通过“目录过滤器”和“文件过滤器”参数设置符合规则的目录和文件进行迁移。

    例如迁移匹配“/user/test*”文件夹下文件,该场景下“文件格式”固定为“二进制格式”。
    图3 配置作业参数

  4. 请参见配置HDFS目的端参数配置目的端连接的作业参数。
  5. 单击“下一步”进入任务配置页面。

    • 如需定期将新增数据迁移至目的端集群,可在该页面进行配置,也可在任务执行后再参考3配置定时任务。
    • 如无新增数据需要后续定期迁移,则跳过该页面配置直接单击“保存”回到作业管理界面。
      图4 任务配置

  6. 选择“作业管理”的“表/文件迁移”页签,在待运行作业的“操作”列单击“运行”,即可开始HDFS文件数据迁移,并等待作业运行完成。
support.huaweicloud.com/bestpractice-mrs/mrs_05_0029.html