检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS多租户简介 多租户概述 背景介绍: 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹
创建Bucket索引表调优 Bucket索引常用设置参数: Spark: hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num.buckets
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程“
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 前提条件 确保本地环境的时间与MRS集群的时间差要小于
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题: 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下,对数据进行压缩时,出现转换为SHORT_INT
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
创建FlinkServer数据连接 操作场景 通过数据连接,访问不同的数据服务,当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。 创建数据连接 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中
访问集群Manager 操作场景 MRS集群使用FusionInsight Manager对集群进行监控、配置和管理,用户在集群安装完成后即可登录FusionInsight Manager。 通过弹性IP访问FusionInsight Manager 登录MRS管理控制台页面。 单击
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行
创建集群时配置LakeFormation数据连接 该章节指导用户在创建MRS 3.3.0-LTS集群时配置LakeFormation数据连接,并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS
MRS 2.1.0.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.2 发布时间 2020-04-22 解决的问题 MRS 2.1.0.2 修复问题列表: MRS Manager nodeagent重启后不显示监控信息 长时间提交作业,manager executor
MRS集群类型介绍 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器、云硬盘)组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子:MRS服务管理,以核为单位计费,每个
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择