检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.10补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题
ZooKeeper开源增强特性:ZooKeeper SSL通信(Netty连接) ZooKeeper设计最初含有Nio包,且不能较好的支持3.5版本后的SSL。为了解决这个问题,Netty被加入到ZooKeeper中。
补丁兼容关系 MRS 2.1.0.11补丁包中包含MRS 2.1.0版本发布的所有补丁内容。
风险提示:在SuSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。 可能原因 操作系统问题。 网卡配置了主备bond模式。
本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 在本示例中,由于要分析处理OBS文件系统中的数据,因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托,使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。
配置Hive数据连接 该功能在MRS 3.0.5版本暂不支持。 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
视频介绍 配置MRS集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
如果用户需要升级该插件中的Log4j2版本,可通过下面的步骤升级插件: 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点?。
本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,登录集群的FusionInsight Manager界面,下载集群客户端并解压。
本文以购买的MRS 3.1.0版本的集群为例,组件包含Hadoop、Kafka组件,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。
普通版 集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。
说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。 步骤2:准备应用程序 通过开源镜像站获取样例工程。
参考信息 svctm的获取方法如下: MRS 3.1.0版本: 在操作系统中执行iostat -x -t获取: MRS 3.1.0之后版本: svctm = (tot_ticks_new - tot_ticks_old) / (rd_ios_new + wr_ios_new - rd_ios_old
MRS 1.8.2之前版本和MRS 3.0.5版本,请参考集群Master节点规格升级(分步升级)操作。 升级过程中请勿对集群进行其他操作。 升级Master节点规格会导致业务中断,请尽量安排业务空闲期升级Master节点规格。
Spark 3.1.1版本实现了命令的本地化,使用Spark SQL Native DDL/DML取代Hive执行DDL/DML命令。一方面实现和Hive的解耦,另一方面可以对命令进行定制化。
普通版 集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。
补丁兼容关系 MRS 3.2.0-LTS.1.10补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 父主题: MRS 3.2.0-LTS.1.10补丁说明