MAPREDUCE服务 MRS-购买自定义拓扑集群:自定义集群拓扑调整说明

时间:2024-01-04 16:47:33

自定义集群拓扑调整说明

表3 拓扑调整说明

服务名称

依赖关系

角色名称

角色业务部署建议

说明

OMS Server

-

OMSServer

部署在Master节点上,不支持修改。

-

ClickHouse

依赖ZooKeeper

CHS(ClickHouseServer)

所有节点均可部署。

角色实例部署数量范围:偶数个,2~256。

部署了该角色的非Master节点组会被认为是Core节点类型。

CLB(ClickHouseBalancer)

所有节点均可部署。

角色实例部署数量范围:2~256。

-

ZooKeeper

-

QP(quorumpeer)

只能部署在Master节点上。

角色实例部署数量范围:3~9,步长为2。

-

Hadoop

依赖ZooKeeper

NN(NameNode)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

HFS(HttpFS)

只能部署在Master节点上。

角色实例部署数量范围:0~10。

-

JN(JournalNode)

只能部署在Master节点上。

角色实例部署数量范围:3~60,步长为2。

-

DN(DataNode)

所有节点均可部署。

角色实例部署数量范围:3~10000。

部署了该角色的非Master节点组会被认为是Core节点类型。

RM(ResourceManager)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

NM(NodeManager)

所有节点均可部署。

角色实例部署数量范围:3~10000。

-

JHS(JobHistoryServer)

只能部署在Master节点上。

角色实例部署数量范围:1~2。

-

TLS(TimelineServer)

只能部署在Master节点上。

角色实例部署数量范围:0~1。

-

Presto

依赖Hive

PCD(Coordinator)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

PWK(Worker)

所有节点均可部署。

角色实例部署数量范围:1~10000。

-

Spark2x

  • 依赖Hadoop
  • 依赖Hive
  • 依赖ZooKeeper

JS2X(JD BCS erver2x)

只能部署在Master节点上。

角色实例部署数量范围:2~10。

-

JH2X(JobHistory2x)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

SR2X(SparkResource2x)

只能部署在Master节点上。

角色实例部署数量范围:2~50。

-

IS2X(IndexServer2x)

(可选)只能部署在Master节点上。

角色实例部署数量范围:0~2,步长为2。

-

HBase

依赖Hadoop

HM(HMaster)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

TS(ThriftServer)

所有节点均可部署。

角色实例部署数量范围:0~10000。

-

RT(RESTServer)

所有节点均可部署。

角色实例部署数量范围:0~10000。

-

RS(RegionServer)

所有节点均可部署。

角色实例部署数量范围:3~10000。

-

TS1(Thrift1Server)

所有节点均可部署。

角色实例部署数量范围:0~10000。

若集群安装了Hue服务并且需要在Hue WebUI使用HBase,HBase服务需安装此实例。

Hive

  • 依赖Hadoop
  • 依赖DBService

MS(MetaStore)

只能部署在Master节点上。

角色实例部署数量范围:2~10。

-

WH(WebHCat)

只能部署在Master节点上。

角色实例部署数量范围:1~10。

-

HS(HiveServer)

只能部署在Master节点上。

角色实例部署数量范围:2~80。

-

Hue

依赖DBService

H(Hue)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

Sqoop

依赖Hadoop

SC(SqoopClient)

所有节点均可部署。

角色实例部署数量范围:1~10000。

-

Kafka

依赖ZooKeeper

B(Broker)

所有节点均可部署。

角色实例部署数量范围:3~10000。

-

Flume

-

MS(MonitorServer)

只能部署在Master节点上。

角色实例部署数量范围:1~2。

-

F(Flume)

所有节点均可部署。

角色实例部署数量范围:1~10000。

部署了该角色的非Master节点组会被认为是Core节点类型。

Tez

  • 依赖Hadoop
  • 依赖DBService
  • 依赖ZooKeeper

TUI(TezUI)

只能部署在Master节点上。

角色实例部署数量范围:1~2。

-

Flink

  • 依赖ZooKeeper
  • 依赖KrbServer
  • 依赖DBService
  • 依赖Hadoop

FR(FlinkResource)

所有节点均可部署。

角色实例部署数量范围:1~10000。

-

FS(FlinkServer)

所有节点均可部署。

角色实例部署数量范围:0~2。

-

Oozie

  • 依赖Hadoop
  • 依赖DBService
  • 依赖ZooKeeper

O(oozie)

只能部署在Master节点上。

角色实例部署数量范围:2。

-

Impala

  • 依赖Hadoop
  • 依赖Hive
  • 依赖DBService
  • 依赖ZooKeeper

StateStore

只能部署在Master节点上。

角色实例部署数量范围:1。

-

Catalog

只能部署在Master节点上。

角色实例部署数量范围:1。

-

Impalad

所有节点均可部署。

角色实例部署数量范围:1~10000。

-

Kudu

-

KuduMaster

只能部署在Master节点上。

角色实例部署数量范围:3或者5。

-

KuduTserver

所有节点均可部署。

角色实例部署数量范围:3~10000。

-

Ranger

依赖DBservice

RA(RangerAdmin)

只能部署在Master节点上。

角色实例部署数量范围:1~2。

-

USC(UserSync)

只能部署在Master节点上。

角色实例部署数量范围:1。

-

TSC(TagSync)

所有节点均可部署。

角色实例部署数量范围:0~1。

-

HetuEngine

(仅适用于 MRS 3.1.2-LTS.3及以后版本)

  • 依赖Hadoop
  • 依赖DBService
  • 依赖Hive
  • 依赖ZooKeeper
  • 依赖KrbServer
  • 依赖Yarn
  • 依赖HDFS

HSB(HSBroker)

所有节点均可部署。

角色实例部署数量范围:2~50。

-

HSC(HSConsole)

所有节点均可部署。

角色实例部署数量范围:2。

-

HSF(HSFabric)

所有节点均可部署。

角色实例部署数量范围:0~50。

-

QAS(仅适用于MRS 3.2.0-LTS.1及以后版本)

所有节点均可部署。

角色实例部署数量范围:0~2。

-

IoTDB(仅适用于MRS 3.2.0-LTS.1及以后版本)

依赖KrbServer

CN(ConfigNode)

只能部署在Master节点上。

角色实例部署数量范围:3~9,步长为2。

-

IoTDBS(IoTDBServer)

所有节点均可部署。

角色实例部署数量范围:3~256。

-

CDL(仅适用于MRS 3.2.0-LTS.1及以后版本)

  • 依赖DBService
  • 依赖HDFS
  • 依赖Hive
  • 依赖KrbServer
  • 依赖Kafka
  • 依赖Spark
  • 依赖ZooKeeper
  • 依赖Yarn

CC(CDLConnector)

所有节点均可部署。

角色实例部署数量范围:1~256。

-

CS (CDLService)

所有节点均可部署。

角色实例部署数量范围:1~2。

-

support.huaweicloud.com/usermanual-mrs/mrs_01_0121.html