检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据界面提示,配置MRS集群信息。 创建集群时,您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。 MRS集群版本配置 MRS集群网络配置 MRS集群节点配置 MRS集群其他配置 集群信息全部配置完成后,单击“立即购买”。 当集群开启Kerberos认
inmb” 与“Netty offheapmemory required”参数值的总和,或者“carbon.unsafe.working.memory.in.mb” 、 “carbon.sort.inememory.storage.size.in.mb” 与 “Netty offheapmemory
下载MRS集群用户认证凭据文件 用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时,需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改
退订包周期集群指定节点操作 关闭待退订节点集群的自动续费功能,具体请参见如何取消自动续费。 登录MRS服务控制台。 选择“现有集群”,单击待退订节点的集群名称进入集群详情页面。 在集群“概览”页单击“IAM用户同步”右侧的“同步”。 退服或者隔离节点。 目前仅以下版本集群支持退订包
率或节点磁盘无法利用等等。所以MRS集群管理员需要定期检查并保持DataNode数据平衡。 HDFS提供了一个容量均衡程序Balancer。通过运行这个程序,可以使得HDFS集群达到一个平衡的状态,使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2
录切换VPC之前的IP。 登录MRS管理控制台,在MRS集群概览页面查看“集群ID”和“虚拟私有云”名称。 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。
产生告警的主机名。 对系统的影响 集群无法对外提供Storm服务,用户无法执行新的Storm任务。 可能原因 Kerberos集群故障。 ZooKeeper集群故障或假死。 Storm集群中主备Nimbus状态异常。 处理步骤 检查Kerberos集群状态(普通模式集群跳过此步骤) 在FusionInsight
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果当前集群配置的参数小于集群规模要求的配置标准时,可能会导致用户作业运行延迟,服务页面响应缓慢等问题。严重时会导致集群节点Agent或者O
Manager管理,主备集群必须已配置跨集群互信。如果主集群部署为普通模式,不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中,配置主备集群所有机器的机器名与业务IP地址的对应关系。
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
配置HBase只读模式集群允许修改数据的IP白名单 配置LDAP输出审计日志 更新MRS集群加密密钥 更新MRS集群节点omm用户ssh密钥 修改MRS集群组件鉴权配置开关 配置MRS集群外节点用户访问普通模式集群资源 修改Manager页面超时时间 配置MRS集群安全通信授权 父主题:
集群管理接口 创建集群 修改集群名称 创建集群并提交作业 扩容集群 缩容集群 集群添加组件 查询集群节点列表 父主题: API V2
界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群监控 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 用户同步完成后,单击“监控信息”页签,查看到集群的监控指标报表。
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网
转换MRS按需集群为包周期集群 如果用户想要将按需计费的集群转为更经济的包年/包月的包周期集群,可使用该指导进行操作。 集群状态为“运行中”或“停止中”时,可以进行转包周期操作。 转换MRS按需集群为包周期集群 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要转包
集群管理类 如何查看所有MRS集群? 如何查看MRS服务的操作日志信息? 如何查看MRS集群配置信息? 如何在MRS集群中手动添加组件? 如何取消MRS集群风险告警的消息通知? 为什么MRS集群显示的资源池内存小于实际集群内存? MRS集群安装的Python版本是多少? 如何上传本地文件到集群内节点?
扩容集群 场景描述 创建集群后,扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
缩容集群 场景描述 创建集群后,缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
工作方式与HDFS的Balancer工具类似。不同的是,HDFS Balancer工具用于DataNode节点间的数据均衡,而HDFS DiskBalancer用于单个DataNode节点上各磁盘之间的数据均衡。 长时间运行的集群会因为曾经删除过大量的文件,或者集群中的节点做磁