MAPREDUCE服务 MRS-数据迁移到MRS前信息收集:业务信息调研

时间:2024-04-16 08:56:37

业务信息调研

  1. 大数据平台及业务的架构图。
  2. 大数据平台和业务的数据流图(包括峰值和均值流量等)。

    识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。

    数据在平台内各个组件间的流向,比如使用什么组件采集数据,采集完数据后数据如何流向下一层组件,使用什么组件存储数据,数据处理过程中的工作流等。

  3. 业务作业类型Hive SQL、Spark SQL、Spark Python等,是否需要使用 MRS 的第三方包,参考MRS应用开发样例
  4. 调度系统,需要考虑调度系统对接MRS集群。
  5. 迁移后,业务割接允许中断时长,识别平台业务优先级。

    识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长,梳理业务迁移顺序。

  6. 客户端部署要求。
  7. 业务执行时间段和高峰时间段。
  8. 大数据集群的数量和大数据集群功能划分,分析平台业务模型。

    各个集群或各个组件分别负责什么业务,处理什么类型的数据。比如实时/离线数据分别使用什么组件处理、数据格式类型、压缩算法等。

support.huaweicloud.com/bestpractice-mrs/mrs_05_0027.html