检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外,LTS版集群还支持HetuEngine、IoTDB等组件,可以根据不同集群版本选择不同的组件,具体各版本集群的组件详情可以参考MRS组件版本一览表和组件操作指南。
提供自动化物化视图的创建,无需手动执行SQL创建物化视图(推荐使用) 配置HetuEngine智能物化视图能力 查看物化视图自动化任务记录 看任务执行情况,帮助评估集群运行健康状况 查看HetuEngine物化视图自动化任务 父主题: 配置HetuEngine物化视图
联系硬件工程师插入全新磁盘,具体操作请参考对应型号的硬件产品文档,如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘的大小),检查磁盘是否已经挂载在目录“DirName”上。
商用 Ranger简介 2 MRS支持Alluxio组件 Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。
IES边缘小站MRS集群服务费:在智能边缘小站 IES可用区购买MRS集群时使用该计费项。 包年/包月、按需计费 核个数 * 节点个数 * 核规格单价 * 购买时长 MRS服务管理针对不同类型、不同Region集群的单核价格不相同,具体计费请以MRS价格计算器中的价格为准。
联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失(2.x及以前版本)进行处理,处理完成后,本告警即可自动消除。 参考信息 无。 父主题: MRS集群告警处理参考
在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题: 周边生态对接类
联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失进行处理,处理完成后,本告警即可自动消除。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
联系硬件工程师插入全新磁盘,具体操作请参考对应型号的硬件产品文档,如果原来故障的磁盘是RAID,那么请按照对应RAID卡的配置方法配置RAID。 等待20~30分钟后执行mount命令(具体时间依赖磁盘的大小),检查磁盘是否已经挂载在目录“挂载目录名”上。
数据可靠性 MRS可以利用弹性云服务器ECS提供的反亲和节点组能力,结合Hadoop的机架感知能力,将数据冗余到多个物理宿主机上,避免物理硬件的失效造成数据的失效。 父主题: 产品功能
主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 父主题: 集群管理
如果因为网络、硬件故障或ssh互信造成,则组件业务无法保证正常。 可能原因 网络断连、硬件故障或操作系统执行命令缓慢。 NodeAgent进程内存不足。 NodeAgent进程故障。 处理步骤 检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢。
CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高数据迁移和集成的效率,可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。
通常自建大数据集群需要完成数据搬迁,采购升级节点硬件配置实现Master规格提升,而MRS服务借助云服务的优势,实现一键式Master节点升级,并在升级过程中通过Master节点的主备HA保证已有业务的不间断,方便快捷帮助用户解决主节点规格升级问题。
图2 自定义购买-软件配置 单击“下一步”配置硬件信息。 参见表2配置集群硬件信息。 表2 硬件配置 参数名称 参数含义 取值样例 可用区 选择集群工作区域下关联的可用区。 可用区2 企业项目 选择集群所属的企业项目。
每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。 收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件 检查设备运行的机房环境,安排清洁设备。 父主题: MRS集群运维
对系统的影响 多路读会增加网络流量和CPU使用率,由于需要处理更多的连接和请求,需要根据现网硬件及作业情况实际调整。例如:默认三副本的情况下启用多路读,组件内存至少需要设置为已有的三倍。
联系硬件工程师,修复磁盘故障。 等待一小时,查看告警是否恢复。 是,操作结束。 否,执行8。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“NodeAgent”,单击“确定”。
如果集群硬件异构,请收集多种规格和对应节点数,参见表2。
方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CDM服务迁移Hadoop数据至MRS集群方案如图1所示。