检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构
Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服
登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。 输入登录密码和短信验证码，单击“确定”，下载密钥，请妥善保。 操作步骤 准备使用Spark SQL分析的数据源。 样例txt文件如下： abcd3ghji efgh658ko
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapRe
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台，全面覆盖数据分析过程中的各个环节，轻松完成全流程数据分析任务，包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等，极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
技术支持 MRS服务是租户完全可控的半托管云服务，为用户提供一站式企业级大数据平台，用户可以在MRS集群上轻松运行Hadoop、Hive、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件，将可信的数据转化为可行的见解。借助直观的人工智能分析平台，帮助人们查看和理解数据并根据数据采取行动，让每一次决策都更加明智。 本章节以Tableau Desktop 2022.2版本为例，讲解如
影响风险 存在漏洞的业务被攻击时，将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应解决方案前，建议您参考以下的相关预防措施。 加固物理设备安全边界，防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码，如果有，建议修改新密码。 加强环
pReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS
但检查结果不能等同于界面上显示的“健康状态”。检查范围包含Manager、服务级别和主机级别的健康检查： Manager关注集群统一管理平台是否提供正常管理功能。 服务级别关注组件是否能够提供正常的服务。 主机级别关注主机的一系列指标是否正常。 本章节指导用户在日常运维中完成集
构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能，您能快速掌握服务及主机的运行状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供服务属性的配置功能，满足您实际业务的性能需求。
csv”。 获取AK/SK信息。 将鼠标移到右上角登录用户名处，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥，在.csv文件中获取AK/SK信息。 导入OBS数据至Doris表中 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。安全模式或者普通模式集群均提供鉴权能力，组件的具体权限项在两种模式中相同。
查看MRS集群静态资源 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略，使集群在不同的时间段自动调整参数值，从而更有效地利用资源。 系统管理员可以在Manager查看静态服务池各个服务使用资源的监控指标结果，包含监控指标如下：
如果集群启用了安全服务，在连接ZooKeeper时需要进行身份认证，认证方式有以下两种： keytab方式：需要从MRS集群管理员处获取一个“人机”用户，用于登录MRS平台并通过认证，并且获取到该用户的keytab文件。 票据方式：从MRS集群管理员处获取一个“人机”用户，用于后续的安全登录，开启Kerber
等Hadoop生态的高性能大数据引擎，支持数据湖、数据仓库、BI、AI融合等能力，完全兼容开源，快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台，满足客户业务快速增长和敏捷创新诉求。 父主题： 产品咨询类
表2 网络配置和节点配置 参数名称 参数含义 取值样例 可用区 选择集群工作区域下关联的可用区。 可用区2 虚拟私有云 选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。 xxx 子网 选择需要创建集
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
