检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45001 HetuEngine计算实例故障 此告警仅适用于MRS 3.2.0及之后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例状态，当检测到HetuEngine服务存在故障计算实例时产生该告警。 HetuEngine故障计算实例全部恢复时，告警清除。 告警属性
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
设置root用户和admin用户密码，该密码由用户自定义，请妥善保管。 - 企业项目 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，您可以选择系统定义的企业项目default或者创建自己的企业项目。 default 通信安全授权 MRS管理控制台需
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive
MRS可以做什么？ 问： MapReduce Service（MRS）可以做什么？ 答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数
Backlog 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例任务积压，会导致该计算实例性能下降，业务SQL响应变慢。 可能原因 计算实例资源配置过小。 业务存在大SQL任务，占用过多计算资源，导致其他提交的任务无资源可用，整个计算实例响应变慢，造成任务积压。
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS各类各项云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务
HetuEngine计算实例启动后状态为故障 问题 启动HetuEngine计算实例后，大约过了30秒，计算实例直接进入故障状态。 回答 HetuEngine启动计算实例时，会给Yarn发送命令启动对应的application，若30秒内没有接收到Yarn的响应消息，则因超时结束此次请求。
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Hive
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS
供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用Hive对原始数据进行导入
维护实例是承担自动化任务的一种特殊的计算实例，主要负责物化视图的自动刷新、自动创建和自动删除。 一个集群只能有一个计算实例被设置为维护实例，也可以同时承担计算实例的业务。一个租户存在多个计算实例时，仅有一个计算实例用作维护实例。配置已存在计算实例为维护实例时，其状态需为“已停止”。
luxio位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1
Coordinator HetuEngine计算实例的管理节点，提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 Worker HetuEngine计算实例的工作节点，提供数据源数据并行拉取，分布式SQL计算等能力。 HetuEngine应用场景 H
据集（大于1TB）的并行运算。在MapReduce程序中计算的数据可以来自多个数据源，如Local FileSystem、HDFS、数据库等。最常用的是HDFS，利用HDFS的高吞吐性能读取大规模的数据进行计算，同时在计算完成后，也可以将数据存储到HDFS。 MapReduce和YARN的关系
MRS集群相关高级功能参数，具体请参考表5。 - 企业项目 选择集群所属的企业项目，如需使用企业项目，请先通过“企业 > 项目管理”服务创建。 企业项目所在的企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
败。 原因分析 用户MRS集群选的是企业项目A（包含MRS FULLACCESS和ECS FULLACCESS权限）。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。
在进行成本分配之前，建议开通企业项目并做好企业项目的规划，可以根据企业的组织架构或者业务项目来划分。在购买云资源时选择指定企业项目，新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图1 为MRS集群选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
