-
查看集群状态 - MapReduce服务 MRS
有集群”页面单击查看。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称,创建集群时设置。集群的ID是集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 :修改集群名称。 :复制集群ID。 集群版本 集群的版本号。 集群类型 显示创建集群的类型。 节点数 集群部署的节点个数,创建集群时设置。
-
通过ELB访问ClickHouse - MapReduce服务 MRS
Source两种负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移 后端ClickHouse扩容新增节点只需要修改ELB上的配置即可 BalancedClickhouseDataSource 内部随机方式分发请求,可能会导致负载不均匀 故障检测能力不足
-
Hive负载均衡 - MapReduce服务 MRS
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
-
Hive负载均衡 - MapReduce服务 MRS
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
-
配置Kafka数据均衡工具 - MapReduce服务 MRS
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求,在客户端中执行Kafka均衡工具来均衡Kafka集群的负载,一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组,普通模式不需要)。
-
配置HiveMetaStore客户端连接负载均衡 - MapReduce服务 MRS
配置HiveMetaStore客户端连接负载均衡 操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。
-
删除集群 - MapReduce服务 MRS
删除集群 场景描述 数据完成处理分析后或者集群运行异常无法提供服务时可删除集群服务。 处于如下状态的集群不允许删除: scaling-out:扩容中 scaling-in:缩容中 starting:启动中 terminating:删除中 terminated:已删除 failed:失败
-
MRS集群节点简介 - MapReduce服务 MRS
集群节点分类 节点类型 功能 Master节点 MRS集群管理节点,负责管理和监控集群。在MRS管理控制台选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群信息页面。在“节点管理”中查看节点名称,名称中包含“master1”的节点为Master1节点,名称中包含“master2”的节点为Master2节点。
-
删除集群 - MapReduce服务 MRS
删除集群 如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。
-
创建集群 - MapReduce服务 MRS
在高并发负载情况下表现更好。 mgmt_control_data_separated_v2:数据分设模板,管理角色和控制角色分别部署在不同的Master节点中,数据实例分设在不同节点组。该部署方式适用于500个以上的节点,可以将各组件进一步分开部署,适用于更大的集群规模。 tags
-
Hive对接CSS服务 - MapReduce服务 MRS
x及之后版本。 前提条件 已安装MRS的Hive服务和CSS的Elasticsearch服务,并且两个集群之间网络互通。 操作步骤 在云搜索服务的“集群管理”页面上,单击集群“操作”列的“Kibana”访问集群,在Kibana的左侧导航中选择“Dev Tools”,进入Console界面,输
-
集群生命周期管理 - MapReduce服务 MRS
应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群:当按需计费的集群不再需要时(包括集群中的数据
-
如何通过集群外的节点访问MRS集群? - MapReduce服务 MRS
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
-
删除集群 - MapReduce服务 MRS
删除集群 如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 包年包月集群无法执行删除操作,如需退订包年包月集群请参见退订集群。
-
扩容集群 - MapReduce服务 MRS
0-LTS。 扩容后,集群内节点已安装的客户端无需更新,集群外节点安装的客户端请参考更新客户端进行更新。 扩容后,如需对HDFS数据进行均衡操作,请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作,请参考Kafka均衡工具使用说明。 扩容按需集群 登录MRS管理控制台。
-
配置HDFS DataNode数据均衡 - MapReduce服务 MRS
分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率 均衡操作时间估算受两个因素影响: 需要迁移的总数据量: 每个DataNode节点的数据量应大于(平均使用率-阈值)*平均
-
配置HDFS DiskBalancer磁盘均衡 - MapReduce服务 MRS
在集群运维过程中,排查性能类问题时。可查看集群的事件信息中是否有HDFS磁盘均衡任务事件发生,如果有的话。可以排查集群中是否开启了DiskBalancer。 自动执行磁盘均衡的特性开启以后,会在此次数据均衡执行完成之后才会退出。无法在执行均衡中途取消本次执行任务。 如果想要灵活选择某些指定节点进行数据均衡,可以在客户端手动指定执行。
-
购买集群 - MapReduce服务 MRS
版本类型:提供普通版和LTS版两种版本类型,默认版本类型为普通版。 集群版本:默认最新版本即可。 组件选择:分析集群勾选Spark2x、HBase和Hive等组件。流式集群勾选Kafka和Storm等组件。混合集群可同时勾选分析集群流式集群的组件。 针对MRS 3.x之前版本,分析集群勾选Spark、HBase和Hive等组件。
-
缩容集群 - MapReduce服务 MRS
集群缩容过程说明如下: 缩容中:集群正在缩容时集群状态为“缩容中”。已提交的作业会继续执行,也可以提交新的作业,但不允许继续缩容和删除集群,也不建议重启集群和修改集群配置。 缩容成功:集群缩容成功后集群状态为“运行中”,计费按照缩容后所使用的资源计算。 缩容失败:集群缩容失败时集群状态为“运行中”
-
集群 - MapReduce服务 MRS
集群 选择“主机 > 资源概况 > 集群”,可同时查看FusionInsight Manager内各集群的资源监控页面,如图1所示。 系统默认显示1小时的监控数据。用户可单击自定义时间区间,缺省时间区间包括:1小时、2小时、6小时、12小时、1天、1周、1月。 图1 集群资源概况