检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eFormation的对接。 创建集群时配置LakeFormation数据连接 进入购买MRS集群页面。 单击“购买集群”,进入“购买集群”页面。 在购买集群页面,选择“自定义购买”。 参考购买自定义拓扑集群进行配置并创建集群,且集群需满足表1中要求。 表1 LakeFormation数据连接参数说明
录只是举例,请根据实际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择
通过JDBC访问SparkSQL 通过Manager接口管理用户 02 购买 您可以灵活选择MRS服务的计费模式、配置项,针对不同的应用场景,选择不同规格的集群和节点。 价格说明 MRS计费说明 价格详情 购买集群 自定义购买MRS集群 快速购买MRS集群 04 使用 根据业务发展需要,您可以随时扩
录只是举例,请根据实际安装目录修改。 购买ELB并配置对接ClickHouse 购买ELB并获取其私有IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录“弹性负载均衡器”控制台,在“负载均衡器”界面单击“购买弹性负载均衡”。 在“购买弹性负载均衡”界面,“实例规格类型”选择
计费样例 计费场景 某用户于2023/03/18 15:30:00购买了一个按需计费的MRS普通版分析集群,规格配置如下: master_node_default_group节点组(简称Master节点组): 节点个数:3 节点规格:c6.2xlarge.2(8vCPUs,16GB)
MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑,历经行业数万节点部署量的考验,提
变更计费模式概述 在购买MRS集群后,如果发现当前计费模式无法满足业务需求,您可以变更集群的计费模式,对应的IaaS基础设施资源费用同步变更。MRS仅支持将按需计费集群转为包年/包月集群,支持该变更计费模式的MRS计费项如表1所示。将MRS集群的计费模式从按需计费转为包年/包月,可以让您享受一定程度的价格优惠。
目前MRS商用收费基本要素为集群中的弹性云服务器。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 计费类型下方显示购买的集群启动成功的时间,即计费开始时间。 创建时间 集群节点创建成功时间。仅“历史集群”会显示此参数。
Kafka集群节点内多磁盘数据量占用高 用户问题 Kafka流式集群节点内有多块磁盘的使用量很高。当达到100%时就会造成kafka不可用如何处理? 问题现象 客户购买的MRS Kafka流式集群节点内有多块磁盘,由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。
可以为空。 Apache 为集群增加标签 创建集群时为集群增加标签 登录MRS管理控制台。 单击“购买集群”,进入购买集群页面。 在购买集群页面,选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 勾选“高级配置”右侧的“现在配置”,在标签栏输入新添加标签的键和值。
引导操作安装第三方软件前提条件 已参考准备MRS节点引导操作脚本准备好引导操作脚本。 创建集群时添加引导操作 进入购买MRS集群页面。 在购买集群页面,选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 在“高级配置”区域勾选“现在配置”,单击引导操作栏的“添加”。
包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择,具体功能详情及版本差异详情请参见版本功能差异说明。 购买时,“防护主机数量”需跟MRS集群中的节点数量保持一致。 图3 防护主机数量 步骤二
Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端(MRS 3.x之前版本) 普通集群不需要执行2-6。 安装Flume客户端。
Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。 安装Flume客户端。 可参考安
影响。 续费相关的功能 包年/包月MRS集群续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月MRS集群从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。 自动续费 开通自动续费后,MRS集群会在每次到期前自动续费,
创建Ranger集群 参考购买自定义集群创建集群,组件选择时勾选Ranger组件。 目前MRS 1.9.2集群仅普通模式集群支持Ranger组件,开启Kerberos认证的安全集群不支持Ranger组件。 图1 选择Ranger组件 选择是否开启“使用外部数据源存储元数据”功能。
ClickHouse增加磁盘容量 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse集群和实例状态正常。
扩容ClickHouse节点磁盘 随着业务量的增长,ClickHouse节点数据盘的磁盘容量已不能满足业务需求,需要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩
MRS集群服务常用端口列表 在自定义购买MRS集群时,如果集群为LTS版本类型,则可以定制组件端口(默认选择为“开源”)。 “组件端口”参数选择“开源”时,组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时,组件端口默认值请参考“定制默认端口”列。 如果仅有
商用 缩容指定节点 2 下线MRS 1.8.10版本 请选择MRS 1.9.2版本进行购买。 商用 MRS组件版本一览表 3 下线MRS 2.1.0版本 请选择MRS 3.0.5版本进行购买。 商用 MRS组件版本一览表 2020年11月 序号 功能名称 功能描述 阶段 相关文档