检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
整HDFS路径,具体路径为2复制的备份路径,例如,“备份路径/备份任务名_数据源_任务创建时间”。 MRS 3.1.0和MRS 3.1.2版本选择此参数值,还需要配置以下参数: “源端NameService名称”:填写备份数据集群的NameService名称。可在备集群HDFS服
称。 在集群详情页,单击页面右上角“配置 > 同步配置”。 本操作仅适用于MRS 2.x及之前版本。 图1 同步配置(以MRS 1.9.2版本为例) 在弹出窗口勾选“重启配置过期的服务或实例。”,并单击“确定”,重启配置过期的服务。 界面提示“操作成功”,单击“完成”,集群成功启动。
“r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 MRS 3.1.0版本: 在操作系统中执行iostat -x -t获取: MRS 3.1.0之后版本svctm的计算方法为: svctm = (tot_ticks_new
Kudu支持慢盘隔离。 Manager慢盘检测脚本日志打印增加压缩归档功能。 补丁兼容关系 MRS 3.1.0.0.16补丁包中包含所有MRS 3.1.0版本单点问题修复补丁。 父主题: MRS 3.1.0.0.16补丁说明
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.9补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.10补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS
解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.10补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS 1.9.0.10补丁期间会重启MRS Manager,滚动重启Hadoop、Hiv
5-x86_64(Red Hat 7.5) CentOS CentOS-7.6版本(CentOS 7.6) 鲲鹏计算 Euler EulerOS 2.8 CentOS CentOS-7.6版本(CentOS 7.6) Kudu 1.17.0版本的集群外客户端只支持EulerOS 2.9及以上版本使用。
参考购买自定义拓扑集群进行配置并创建集群,且集群需满足表1中要求。 表1 LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 选择配置对接的MRS集群版本。 当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。
参考购买自定义拓扑集群进行配置并创建集群,且集群需满足表1中要求。 表1 LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 选择配置对接的MRS集群版本。 当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。
填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 MRS 3.1.0和MRS 3.1.2版本选择此参数值,还需要配置以下参数: “源端NameService名称”:填写备份数据集群的NameService名称。可在备集群HDFS服
ZooKeeper开源增强特性:ZooKeeper SSL通信(Netty连接) ZooKeeper设计最初含有Nio包,且不能较好的支持3.5版本后的SSL。为了解决这个问题,Netty被加入到ZooKeeper中。所以如果用户需要使用SSL,启用Netty并设置Server端和Client端的以下参数。
server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.11补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS
操作流程 步骤1:创建MRS集群 创建并购买一个包含有Flink组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 在本示例中,由于要分析处理OBS文件系统中的数据,因此在集群的高级配置参数中要为MRS集群绑
ot用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Hive数据连接 该功能在MRS 3.0.5版本暂不支持。 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
少配置其中一种,也可以叠加使用。 视频介绍 配置MRS集群弹性伸缩操作案例可参考配置MRS集群弹性伸缩操作视频,该视频以MRS 3.1.0版本集群为例,介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 MRS_demo 版本类型 待创建的MRS集群版本类型。 普通版 集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。
x之前版本、MRS 3.1.0及之后版本,请参考集群Master节点规格升级(一键升级)。 MRS 1.8.2之前版本和MRS 3.0.5版本,请参考集群Master节点规格升级(分步升级)操作。 升级过程中请勿对集群进行其他操作。 升级Master节点规格会导致业务中断,请尽量
选择待创建的MRS集群的计费模式。 按需计费 集群名称 待创建的MRS集群名称。 MRS_demo 版本类型 待创建的MRS集群版本类型。 普通版 集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。
解决Oozie修改GC配置不生效的问题。 补丁兼容关系 MRS 3.2.0-LTS.1.10补丁包中包含所有MRS 3.2.0-LTS.1版本单点问题修复补丁。 父主题: MRS 3.2.0-LTS.1.10补丁说明