MAPREDUCE服务 MRS-数据迁移到MRS前信息收集:集群基本信息收集

时间:2024-04-16 08:56:37

集群基本信息收集

表1 集群基本信息

参数

说明

集群名称

-

集群版本

MRS CDM 等集群的版本信息。

节点数及规格

调研现有集群节点数和节点规格。

如果集群硬件异构,请收集多种规格和对应节点数,参见表2

例如:

  • 2台32U64G机器部署NameNode + ResourceManager
  • 2台32U64G机器部署HiveServer
  • 20台16U32G机器部署DataNode和NodeManager

是否开启Kerberos认证

是或否

权限控制及说明

调研各个开启ACL权限控制的组件和配置,通常涉及Yarn、Hive、Impala、HBase等组件。

使用Ranger、Sentry或组件开源的权限能力进行权限控制。

所在Region/AZ

云上资源填写项

虚拟私有云

云上资源填写项

子网

云上资源填写项

安全组

云上资源填写项

表2 硬件信息调研表

节点组

CPU和内存信息

磁盘和网络(按节点组统计)

HDFS

Yarn

-

-

磁盘信息(数据盘大小、磁盘IO、当前磁盘使用率和IO情况)

网络(网卡带宽大小、网络读写速度和峰值)

NameNode

DataNode

JournalNode

NodeManager

ResourceManager

master1

(16U64G)

-

-

1

-

1

-

1

master2

(16U64G)

-

-

1

-

1

-

1

master3

(16U64G)

-

-

-

-

1

-

-

Core-group1

(32U128G)*数量

-

-

-

1

-

1

-

Core-group1

(32U129G)

-

-

-

-

-

-

-

Core-group1

(32U130G)

-

-

-

-

-

-

-

support.huaweicloud.com/bestpractice-mrs/mrs_05_0027.html