检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
828企业上云节，不如来改造升级你们的大数据平台，这里有一对一的专家服务和低价的数据库产品。
解决部分场景下备份恢复失败问题 解决HMaster频繁出现进程故障告警问题 大数据组件 解决jobhistory内存泄漏问题 解决Hive truncate表超时失败问题 解决Hive增量任务失败后表数据文件不存在问题 解决Hive sql运行异常问题 解决安全集群创建carbon
详细操作，请参见使用存算分离集群使用存算分离集群。 父主题： 对接大数据平台
基于“OBS+CCE”大数据组件对接 前提条件 已安装Hadoop。 已创建CCE集群，且集群下有可用节点，集群内节点已绑定弹性IP，且配置了kubectl命令行工具。
基于“OBS+CCE”大数据组件对接 前提条件 已安装Hadoop。 已创建CCE集群，且集群下有可用节点，集群内节点已绑定弹性IP，且配置了kubectl命令行工具。
华为MapReduce服务群集中或者自定义Hadoop集群中提交MapReduce 、Spark、Flink作业。 父主题： 分析与运营平台设计
华为MapReduce服务群集中或者自定义Hadoop集群中提交MapReduce 、Spark、Flink作业。
大数据入门学习指南 前情提要 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。
本操作指导书旨在帮助华为云用户在开源大数据平台Hadoop和Spark上快速对接OBSFileSystem组件，更好的使用华为云对象存储OBS进行大数据计算。
元数据 当创建MRS集群时选择部署Hive和Ranger组件时，MRS提供多种元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据
MRS Manager查看HBase集群运行状态时，增加集群维度的监控项。 MRS 大数据组件 MRS hue支持Yarn任务的管理功能，如停止应用。 MRS 支持HBase压缩队列告警。
所以大数据平台应该拥有与之适配的一套SDK开发套件，将底层的复杂逻辑进行封装从而对上层应用屏蔽，同时提供一套简单易用的开发接口和一系列辅助开发和调试的工具。2.?任务管理与调度得益于单一集群架构，集群内的所有服务器资源现在可以由一个统一的资源调度系统进行整合使用。
3.网络安全等级保护大数据附录1）大数据平台应对数据采集终端、数据导入服务组件、数据导出终端、数据导出服务组件的使用实施身份鉴别；2）大数据平台应能对不同客户的大数据应用实施标识和鉴别；3）大数据平台应为大数据应用提供集中管控其计算和存储资源使用状况的能力；4）大数据平台应屏蔽计算
1.1.6 缺乏可复制性各自为政的小集群缺乏统一的技术路线，导致大数据集群的运维工作会缺乏可复制性。因为一个部门或者团队与其他部门使用的技术组件可能完全不一样，这样一个集群的安装、维护和调试等经验就没有办法快速复制和推广到其他团队或部门。
MRS 1.8.10.6 修复问题列表： MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 1.8.10.5 修复问题列表： MRS Manager 优化补丁机制 MRS 大数据组件 解决Spark
步骤6：数据开发 DataArts Studio数据开发模块可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。
MRS Manager 操作及显示易用性优化。 MRS Manager 增加大数据服务滚动重启能力。 MRS Manager 新增文件句柄数量监控功能。
2.4.8 使用场景基于YARN扩展性强、可靠性强、支持多用户和支持多应用的特点，它非常适合于支撑企业内部构建统一的资源共享型大数据平台。借助YARN我们可以真正实现通过一套资源调度系统集成所有应用组件的单一大集群架构。1.?
支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
