检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统
创建HetuEngine计算实例 本章节指导用户新创建HetuEngine计算实例。计算实例创建成功后,停止集群前需手动停止计算实例;重启集群后,要使用集群中的计算实例,需要手动启动计算实例。 单个租户可以创建多个计算实例,多个计算实例负载均衡,可以提高性能及容错能力(MRS 3
SConsole WebUI”后的链接,进入HSConsole界面。 单击“计算实例”: 导入实例配置文件:单击“导入”,在本地选择JSON格式的实例配置文件后,单击“打开”。 导入导出功能,仅保存计算实例的配置,不保存实例ID、名称、开始时间、结束时间、状态等信息,重新导入后,这些信息将会重新生成。
管理HetuEngine计算实例 配置HetuEngine资源组 配置HetuEngine Worker节点数量 配置HetuEngine维护实例 配置HetuEngine Coordinator运行的节点范围 导入导出HetuEngine计算实例配置 查看HetuEngine实例监控页面
macOS使用浏览器访问MRS Manager 问题现象 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。 原因分析 由于Mac电脑的证书限制导致无法访问。 处理步骤 复制MRS Manager的登录链接,使用Chrome浏览器访问。 显示MRS Manage
ALM-45001 HetuEngine计算实例故障 此告警仅适用于MRS 3.2.0及之后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例状态,当检测到HetuEngine服务存在故障计算实例时产生该告警。 HetuEngine故障计算实例全部恢复时,告警清除。 告警属性
在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
HetuEngine计算实例启动后状态为故障 问题 启动HetuEngine计算实例后,大约过了30秒,计算实例直接进入故障状态。 回答 HetuEngine启动计算实例时,会给Yarn发送命令启动对应的application,若30秒内没有接收到Yarn的响应消息,则因超时结束此次请求。
高,以支持更大集群的管理。 Core节点:支持存储和计算两种目标的节点,可扩容、缩容。因承载数据存储功能,因此在缩容时,为保证数据不丢失,有较多限制,无法进行弹性伸缩。 Task节点:仅用于计算的节点,可扩容、缩容。因只承载计算任务,因此可以进行弹性伸缩。 MRS购买集群方式支持自定义购买集群和快速购买集群两种。
维护实例是承担自动化任务的一种特殊的计算实例,主要负责物化视图的自动刷新、自动创建和自动删除。 一个集群只能有一个计算实例被设置为维护实例,也可以同时承担计算实例的业务。一个租户存在多个计算实例时,仅有一个计算实例用作维护实例。配置已存在计算实例为维护实例时,其状态需为“已停止”。
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时,Beeline/JDBCServer模式下连续运行10T的TPCDS测试套,会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时,Beeline/JDBCServer模式下连续运行10T的TPCDS测试套,会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
以在一个计算实例资源下创建多个资源组,并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前,将检查当前资源组的资源负载是否超过实例分配给它的资源量。如果超过,则将阻止新到达的查询,使其处于排队状态,甚至直接拒绝它。 资源组使用场景 通过资源组可以实现计算实例内的
MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提
HetuEngine计算实例启动失败报错Python不存在 问题 启动HetuEngine计算实例失败,查看coordinator Container下面的“stderr.txt”日志报错如下: /usr/bin/env: ‘python’: No such file or directory
在“计算实例”页签,单击对应计算实例所属的租户名的“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。
ALM-45007 HetuEngine计算实例Worker个数小于阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例的Worker个数,当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警。