检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户,在Ranger管理界面无法查看到该用户,重启UserSync后,可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户,在Ranger管理界面无法查看到该用户,重启UserSync后,可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值
准备工作 本迁移将指导适用于多种不同场景下的HDFS、HBase、Hive数据向MRS集群的迁移工作。由于数据迁移过程中可能存在数据覆盖、丢失、损坏等风险,因此本指导只作为参考,具体的数据迁移方案的制定及实施需要华为云支持人员协同完成。 数据迁移前源集群的准备工作,目的是防止在数据迁移过程中源集群产生新数据
MRS最佳实践汇总 本文汇总了MapReduce(MRS)服务的常见应用场景,并为每个场景提供详细的方案描述和操作指南,您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析
使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务(MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL
配置LakeFormation数据连接前准备 配置LakeFormation实例 登录华为云管理控制台,在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 单击页面右上角“购买实例”,参考创建LakeFormation实例创建
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.0.3.1补丁说明
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用MRS时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时,成本主要包括两个方面
DataArts Studio调度Spark作业失败 问题现象 DataArts Studio作业调度失败,显示读取“/thriftserver/active_thriftserver”路径下的数据失败。 报错信息为: Can not get JDBC Connection, due
快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业,用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态
配置LakeFormation数据连接前准备 配置LakeFormation实例 登录华为云管理控制台,在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 单击页面右上角“购买实例”,参考创建LakeFormation实例创建
MRS集群更换磁盘(适用于2.x及之前) 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群,其中1个Core节点的磁盘存在硬件损坏,导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群,如需为流式集群或混合集群更换磁盘,
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.1.0 运维通道补丁说明
卸载补丁后操作 重新打开弹性伸缩功能 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
MRS集群更换磁盘(适用于3.x) 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群,其中1个Core节点的磁盘存在硬件损坏,导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于本地盘系列(d/i/ir/ki系列)MRS集群,针对Core、Task类型节点的磁盘存在硬件故障
快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统,广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。
回滚补丁后操作 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS
回滚补丁后操作 回退HDFS上的组件包 不涉及。 回退客户端补丁 不涉及。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略
计费概述 通过阅读本文,您可以快速了解MRS(MapReduce服务)的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 MRS当前支持包年/包月和按需计费模式。 包年/包月是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,用户必须确保账户余额充足