云服务器内容精选

华为云首页用户手册

MAPREDUCE服务 MRS

MAPREDUCE服务 MRS-查看MRS集群组件运行状态:通过管理控制台查看组件状态

通过管理控制台查看组件状态登录 MRS 管理控制台。选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。在MRS集群详情页面，单击“组件管理”，可查看服务操作状态、服务健康状态和服务配置状态等信息。图1 查看集群组件状态表1 管理控制台组件状态说明指标项状态描述操作状态已启动服务已启动。已停止服务已停止。启动失败用户启动操作失败。停止失败用户停止操作失败。未知后台系统重启后，服务的初始状态。健康状态良好该服务中所有角色实例正常运行。故障至少一个角色实例运行状态为“故障”或被依赖的服务状态不正常。服务的运行状态为“故障”，会触发告警，请根据告警信息处理。未知该服务中所有角色实例状态为“未知”。正在恢复后台系统正在尝试自动启动服务。亚健康该服务所依赖的服务状态不正常，异常服务的相关接口无法被外部调用。 HBase、Hive、Spark和Loader组件可显示“亚健康”（Subhealthy）状态。 Yarn已安装且不正常时，HBase处于“亚健康”状态。 HBase已安装且状态不正常时，Hive、Spark和Loader处于“亚健康”状态。配置状态已同步系统中最新的配置信息已生效。配置超期参数修改后，最新的配置未生效，需重启相应服务生效最新配置信息。配置失败参数配置过程中出现通信或读写异常，可尝试使用“同步配置”恢复。配置中参数配置进行中。未知无法获取当前配置状态。单击组件名称，进入组件详情页面，可查看该组件的详细运行信息。图2 查看集群组件详情单击“实例”，可查看服务内各角色实例的详细运行信息。角色实例列表包含了该服务中所有的角色在集群中的实例情况，列表可显示每个实例的运行状态、配置状态、实例对应的主机以及相关的IP地址信息等。单击实例名称可继续进入实例详情页面，可查看实例基本信息、配置文件、实例日志以及该实例相关的监控指标图表。图3 查看集群组件实例状态表2 管理控制台实例状态说明指标项状态描述运行状态良好表示实例当前运行正常。故障表示实例当前无法正常工作。已退服表示实例处于退服状态。未启动表示实例已停止。未知表示实例的初始状态信息无法检测。正在启动表示实例正在执行启动过程。正在停止表示实例正在执行停止过程。正在恢复表示实例可能存在异常正在自动修复。正在退服表示实例正在执行退服过程。正在入服表示实例正在执行入服过程。启动失败表示实例启动操作失败。停止失败表示实例停止操作失败。配置状态已同步系统中最新的配置信息已生效。配置超期参数修改后，最新的配置未生效，需重启相应服务生效最新配置信息。配置失败参数配置过程中出现通信或读写异常，尝试使用“同步配置”恢复。配置中参数配置进行中。未知无法获取当前配置状态。

MAPREDUCE服务 MRS 管理MRS集群组件
MAPREDUCE服务 MRS-MRS存算分离配置流程说明:基于Guardian服务的存算分离配置流程

基于Guardian服务的存算分离配置流程创建MRS集群。 MRS集群内需包含Guardian、Ranger、Hadoop等基础组件。目前仅MRS 3.3.0-LTS及之后的版本支持基于Guardian组件对接OBS。创建OBS委托。用户需要创建1个具有OBS访问权限的委托，用于Guardian组件对接OBS时使用。开启Guardian组件对接OBS开关并配置组件。修改Guardian服务相关配置参数，配置 IAM 委托认证信息。配置组件数据回收站目录的清理策略。在存算分离场景下，对接OBS的组件默认开启了数据防误删功能，用户删除数据时，被删除对象会移动至用户对应的回收站目录内，用户需要在OBS文件系统中为对应的目录配置生命周期策略，以避免存储空间被占满的风险。组件对接OBS。在具备OBS资源的访问权限后，MRS集群内组件可直接访问对应路径。用户可以通过组件客户端以绝对路径方式直接访问OBS文件系统下的资源。

MAPREDUCE服务 MRS 配置MRS集群存算分离
MAPREDUCE服务 MRS-MRS存算分离配置流程说明:基于Guardian服务的OBS权限配置说明

基于Guardian服务的OBS权限配置说明基于Guardian服务的存算分离场景下，对于开启了Ranger鉴权的MRS集群，Ranger管理员可以通过Ranger为集群用户配置OBS目录或文件的读、写权限。同时，基于Guardian权限模型存算分离，依赖Hive级联授权功能，实现用户基于Ranger对业务表授权，自动细粒度关联OBS对应存储目录的权限，无需二次授权，即用户只需在Ranger页面上对业务表进行一次授权，系统就会自动细粒度关联数据存储源的权限，不需要感知表的存储路径，无需进行二次授权。 Ranger页面OBS授权对象只能针对Manager中自定义的用户组，内置用户组不支持，用户组仅由数字0~9、字母a~Z、下划线或#组成，且最大长度为52个字符，否则将导致策略添加失败。启用Kerberos认证的集群需要基于Ranger赋权，未启用Kerberos认证的集群默认拥有OBS权限，无需额外配置。如果当前集群未启用Kerberos认证，访问OBS的用户，需要属于supergroup组。

MAPREDUCE服务 MRS 配置MRS集群存算分离
MAPREDUCE服务 MRS-MRS集群客户端如何通过AK/SK信息对接OBS:Flink访问OBS

Flink访问OBS 在MRS客户端的Flink配置文件“客户端安装路径/Flink/flink/conf/flink-conf.yaml”中，增加如下内容。 fs.obs.access.key: 获取AK/SK和Endpoint信息准备的AK fs.obs.secret.key: 获取AK/SK和Endpoint信息准备的SK fs.obs.endpoint: 获取AK/SK和Endpoint信息准备的Endpoint 在文件中设置AK/SK会明文暴露在配置文件中，请谨慎使用。添加配置后无需手动添加AK/SK、Endpoint就可以直接访问OBS上的数据。

MAPREDUCE服务 MRS 存算分离常见问题
MAPREDUCE服务 MRS-MRS集群客户端如何通过AK/SK信息对接OBS:获取AK/SK和Endpoint信息

获取AK/SK和Endpoint信息使用AK/SK方式对接OBS前，需参考以下操作获取对接OBS的AK、SK和Endpoint信息。获取AK/SK 登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。单击“访问密钥”页签，您可以在访问密钥列表中查看访问密钥ID（AK），在下载的.csv文件中查看秘密访问密钥（SK）. 若没有可用的访问密钥，需单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥。请及时下载保存，弹窗关闭后将无法再次获取该密钥信息，但您可重新创建新的密钥。为了账号安全性，建议您妥善保管并定期修改访问密钥，修改访问密钥的方法为删除旧访问密钥，然后重新生成。获取EndPoint 终端节点（Endpoint）获取方式请参考地区和终端节点。

MAPREDUCE服务 MRS 存算分离常见问题
MAPREDUCE服务 MRS-查看MRS集群资源监控指标:通过Manager查看集群监控（MRS 2.x及之前版本）

通过Manager查看集群监控（MRS 2.x及之前版本）登录Manager页面，选择“系统概览”。在“时间区间”选择需要查看监控数据的时间段。可供选择的选项如下：实时、最近3小时、最近6小时、最近24小时、最近一周、最近一个月、最近三个月、最近六个月、自定义（选择自定义时，在时间范围内自行选择需要查看的时间）。单击“查看”可以查看相应时间区间的监控数据。 MRS Manager在“服务概览”显示各个服务的“健康状态”和“角色数”。单击曲线图表上侧的图标，可显示具体的指标说明信息。自定义监控指标报表。单击“定制”，勾选需要在MRS Manager显示的监控指标。单击“确定”保存并显示所选指标。单击“清除”可批量取消全部选中的指标项。 MRS Manager支持统计的指标共14个，界面最多显示12个定制的监控指标。用户可以选择页面自动刷新间隔的设置，也可以单击马上刷新。勾选“全屏”会将“系统概览”窗口最大化。支持三种参数值： “每60秒刷新一次”：刷新间隔60秒。 “每120秒刷新一次”：刷新间隔120秒。 “停止刷新”：停止刷新。导出监控指标报表。选择报表的时间范围。可供选择的选项如下，单击“导出”，Manager将生成指定时间范围内、已勾选的集群监控指标报表文件，请选择一个位置保存，并妥善保管该文件。如果需要查看指定时间范围的监控指标对应的分布曲线图，请单击“查看”，界面将显示用户自定义时间范围内选定指标的分布曲线图。用户需要了解服务和主机关键监控指标中最高、最低或平均监控数据形成的曲线，即资源分布情况时，可以在MRS Manager上查看，支持查询1小时以内的监控数据。用户也可以在MRS Manager上修改资源分布，使服务和主机的资源分布图表中，可以按自定义的数值显示一条或多条最高、最低监控数据形成的曲线。部分监控指标的资源分布不记录。查看服务监控指标的资源分布在MRS Manager，单击“服务管理”。单击服务列表中指定的服务名称。单击“资源贡献排名”。 “指标”中选择服务的关键指标，MRS Manager将显示过去1小时内指标的资源分布情况。查看主机监控指标的资源分布在MRS Manager，单击“主机管理”。单击主机列表中指定的主机名称。单击“资源贡献排名”。 “指标”中选择主机的关键指标，MRS Manager将显示过去1小时内指标的资源分布情况。配置资源分布在MRS Manager，单击“系统设置”。在“配置”区域“监控和告警配置”下，单击“资源贡献排名配置”。修改资源分布的显示数量。最大值与最小值的资源分布显示数量总和不能大于5。 “TOP数量”填写最大值的显示数量。 “BOTTOM数量”填写最小值的显示数量。单击“确定”保存设置。界面右上角提示“保存TOP数量和BOTTOM数量成功。”。

MAPREDUCE服务 MRS 查看MRS集群监控指标
MAPREDUCE服务 MRS-查看MRS集群资源监控指标:通过管理控制台查看集群监控

通过管理控制台查看集群监控登录MRS管理控制台。选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。在“概览”页签单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。用户同步完成后，单击“监控信息”页签，查看到集群的监控指标报表。在时间区间选择需要查看监控数据的时间段。自定义监控指标报表。单击“定制”，勾选需要显示的监控指标。单击“确定”保存并显示所选指标。单击“清除全部”可批量取消全部选中的指标项。导出监控指标报表。选择报表的时间范围。单击“导出”，MRS将生成指定时间范围内、已勾选的集群监控指标报表文件，请选择一个位置保存，并妥善保管该文件。

MAPREDUCE服务 MRS 查看MRS集群监控指标
MAPREDUCE服务 MRS-查看MRS集群资源监控指标:通过Manager查看集群监控（MRS 3.x及之后版本）

通过Manager查看集群监控（MRS 3.x及之后版本）登录集群Manager界面。单击“主页”。在图表区的右上角，单击，在弹出菜单中选择“定制”。监控时段以5分钟为单位，显示最近1小时的监控数据；从进入“实时监控”页面后，在监控图右侧以5分钟为单位显示实时监控数据。在窗口左侧分类中，选择一项监控资源主体，然后勾选一个或多个监控指标。单击“确定”即可查看对应的监控指标详情。导出监控指标报表。导出全部监控数据在“主页”选择所需要操作的集群的图表区的右上角，选择一个时间范围获取监控数据，例如“1周”。默认为实时数据，无法导出。单击可以自定义监控数据时间范围。在图表区的右上角，单击，在弹出菜单中选择“导出” 导出指定监控项数据在“主页”选择所需要操作的集群的图表区任意一个监控报表窗格的右上角，单击。选择一个时间范围获取监控数据，例如“1周”。默认为实时数据，无法导出。单击可以自定义监控数据时间范围。单击“导出”。历史报表根据所自定义的时间长度不同，图表横轴中每个时间间隔也会不同，具体监控数据的规则如下：如果 FusionInsight Manager存储所用的 GaussDB 所在分区的磁盘使用率超过80%时，会清理实时监控数据和周期为5分钟的监控数据。若为“租户资源”下的“存储资源(HDFS)”，0小时～300小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留3个月监控数据。 MRS 3.3.0之前版本集群： 0～25小时：每个间隔5分钟，要求集群至少安装10分钟以上，最多保留15天监控数据。 25小时～150小时：每个间隔30分钟，要求集群至少安装30分钟以上，最多保留3个月监控数据。 150小时～300小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留3个月监控数据。 300小时～300天：每个间隔1天，要求集群至少安装1天以上，最多保留6个月监控数据。 300天以上：每个间隔7天，要求集群安装7天以上，最多保留一年的监控数据。 MRS 3.3.0及之后版本集群： 0～21小时20分：每个间隔5分钟，要求集群至少安装10分钟以上，最多保留90天监控数据。 21小时20分～128小时：每个间隔30分钟，要求集群至少安装30分钟以上，最多保留90天监控数据。 128小时～256小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留90天监控数据。 256小时～256天及以上：每个间隔1天，要求集群至少安装1天以上，最多保留90天监控数据。

MAPREDUCE服务 MRS 查看MRS集群监控指标
MAPREDUCE服务 MRS-配置MRS集群通过IAM委托对接OBS:创建存算分离集群

创建存算分离集群配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。新创建存算分离集群：进入购买MRS集群页面。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”页签。在“自定义购买”页签，配置以下参数。基础配置：计费模式：选择“按需计费”。区域：请根据需要选择区域。集群配置：集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。集群类型：选择“自定义”。版本类型：选择“LTS版”或“普通版”。集群版本：请根据实际需求选择集群版本，例如：MRS 3.2.0-LTS.1。组件选择：请根据业务需求合理选择需要的组件，部分类型集群创建后不支持添加服务。元数据：选择“本地元数据”。网络配置：可用区：默认即可。虚拟私有云：默认即可。子网：默认即可。安全组：默认即可。弹性公网IP：默认即可。节点配置： CPU架构：默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。常用模板：当“集群类型”选择“自定义”时该参数有效，保持默认即可。集群节点：请根据自身需求选择节点规格和数量。登录凭证： Kerberos认证：请根据自身需要选择，如果创建的集群中包含Presto组件，则不支持开启Kerberos认证。用户名：默认为“admin”，用于登录集群管理页面。密码/确认密码：设置admin用户密码，该密码请妥善保管。登录方式：选择登录E CS 节点的登录方式，本例选择“密码”方式。用户名：默认为“root”，用于远程登录ECS机器。密码/确认密码：设置root用户密码。高级配置：开启高级配置，并设置“委托”：单击“现有委托”，在下拉框中选择创建具有访问OBS权限的ECS委托创建的委托。直接选择MRS在IAM服务中预置的委托“MRS_ECS_DEFAULT_AGENCY”。企业项目：默认即可。通信安全授权：勾选通信安全授权，详细介绍请参见配置MRS集群安全通信授权。单击“立即购买”。等待集群创建成功。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。为已有集群配置存算分离功能：登录MRS控制台，在导航栏选择“现有集群”。单击集群名称，进入集群详情页面。在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定，或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。图3 绑定委托

MAPREDUCE服务 MRS 配置MRS集群通过IAM委托对接OBS
MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:补丁下载地址

补丁下载地址华北-北京一：https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京二：https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京四：https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华东-上海一：https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华东-上海二：https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华南-广州：https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-乌兰察布一：https://mrs-container1-patch-cn-north-9.obs.cn-north-9.myhuaweicloud.com/MRS_Common_Script/MRS_3.1.0_patch_20221111.tar.gz 华北-北京一：https://mrs-container1-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-北京二：https://mrs-container1-patch-cn-north-2.obs.cn-north-2.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-北京四：https://mrs-container1-patch-cn-north-4.obs.cn-north-4.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海一：https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海二：https://mrs-container1-patch-cn-east-2.obs.cn-east-2.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华南-广州：https://mrs-container1-patch-cn-south-1.obs.cn-south-1.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华北-乌兰察布一：https://mrs-container1-patch-cn-north-9.obs.cn-north-9.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:安装完成后必须的手动操作

安装完成后必须的手动操作支持HDFS单副本检测能力 MRS 3.1.0.0.2补丁以及之后的补丁中，会增加HDFS单副本检测和告警能力，新增是否允许写入单副本数据配置项dfs.single.replication.enable，对于新建集群该值配置为false，因为HDFS单副本并不属于MRS服务SLA保障范围；但是对于存量集群，为了考虑兼容性，补丁安装完成后dfs.single.replication.enable配置项值为true，保证客户业务不受影响，建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务，保证HDFS数据的高可靠；对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 3.1.0.0.1版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上同步集群配置，重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kudu、meta、Presto、Spark2x、Yarn、DBService、Flume、HBase、Hive、Impala、MapReduce、Oozie、Ranger和Sqoop服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.1.0.0.8版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kafka、MapReduce、Oozie、Ranger、Sqoop、Yarn、DBService、Flume、HBase、Hive、Impala、Kudu、meta、Presto、Spark2x、Tez和ZooKeeper服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.1.0.0.9版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启Hadoop、HDFS、MapReduce、Yarn和Hive服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.1.0.0.10版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn和Spark2x服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.1.0.0.11版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Spark2x、Hive、ClickHouse和Hue服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.1.0.0.12版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HBase和ClickHouse服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。 MRS 3.1.0.0.15版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Impala、Kudu、Spark和Hive服务，以使补丁功能生效。组件重启期间，部分业务可能短暂不可用。请选择适当的时间进行重启，以降低对业务持续性的影响。重启组件的范围，是以补丁依次升级给定的范围，即如果是从MRS 3.1.0.0.7打补丁升级到MRS 3.1.0.0.8，需要重启MRS 3.1.0.0.8补丁的组件；如果是跨版本升级的，则需要重启的组件范围是各补丁的合集。 MRS 3.1.0版本如果安装了Spark服务，需要在补丁安装完成后在主oms节点执行HDFS上zip包的升级操作：使用root用户，登录集群主节点，执行如下命令： su - omm cd /opt/Bigdata/patches/{MRS补丁版本号}/client/ 所有涉及{MRS补丁版本号}目录名称的操作，均以实际安装的补丁号为准。例如：cd /opt/Bigdata/patches/MRS_3.1.0.0.1/client/ source /opt/Bigdata/client/bigdata_env 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行升级hdfs上的包： sh update_hdfs_file.sh （可选）回退（卸载完补丁后执行）: sh rollback_hdfs_file.sh 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JD BCS erver2x实例。如果有使用人为安装的客户端（集群内、外新下载客户端），需要执行客户端升级或者回退的操作：登录集群主节点: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包复制到客户端机器/opt/目录下： scp patch.tar.gz {客户端机器IP}:/opt/ 如：scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。执行命令创建补丁目录并解压补丁包： mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 补丁升级/回退。执行客户端补丁升级：登录客户端所在节点 cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh upgrade {客户端安装目录} 如：sh upgrade_client.sh upgrade /opt/client/ 执行客户端补丁回滚（卸载完补丁后执行）：登录客户端所在节点 cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh rollback {客户端安装目录} 如：sh upgrade_client.sh rollback /opt/client/

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:MRS 3.1.0.0.1补丁基本信息

MRS 3.1.0.0.1补丁基本信息表11 补丁基本信息补丁号 MRS 3.1.0.0.1 发布时间 2023-02-02 安装前处理安装此补丁前，需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz，补丁下载地址请参考补丁下载地址。如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。新特性和优化 MRS Manager 优化磁盘不可写故障告警上报逻辑租户面支持直接对接 CES 大数据组件 ClickHouse提高轻量级突变的优先级 ClickHouse允许空HTTP标头优化ClickHouse客户端命令 ClickHouse SummingMergeTree引擎支持简单聚合函数数据类型 ClickHouse支持用户名密码同步到metrika.xml中每个replica配置中 ClickHouse开放users.xml自定义配置到页面支持修改Ranger Usersync对接的外部用户的相关配置项 MapReduce开放Task重试节点黑名单配置阈值，默认值修改为34保证单节点故障作业重试可靠性 Yarn适配小规模集群下AM黑名单失效导致作业重试失败，默认值修改为0.34保证单节点故障作业重试可靠性 Yarn实现Container在磁盘级别的可靠性 hue界面使用hivesql特性解决的问题 MRS 3.1.0.0.1 修复问题列表： MRS Manager 解决由于某个节点nodeagent故障导致偶现缩容失败问题解决主master节点主网卡down30分钟，集群未发生主备倒换，集群状态异常问题解决磁盘不可读磁盘故障告警无法上报问题解决主节点正常备份，备节点master2备份文件不老化问题大数据组件解决Hive不兼容开源Sqoop 1.4.7问题解决Hive beeline -p输入密码无效问题解决[HiveSQL] Support manual skipping partial aggregate问题解决Hive并发插入不同分区，存在分区数据丢失问题解决Hive in语句被转换为or语句，造成性能损耗问题解决Hive会话心跳检测判断问题解决Hive高并发场景下会话积累问题解决oozie运行workeflow报错问题解决flink通过jdbc连接到clickhouse的9000端口超时问题解决ClickHouse读取分布式表超时，没反应；数据迁移任务超时卡住，迁移失败；远程查询超时卡住问题解决使用clickhouse benchmark 命令连接lb执行查询，并发数超过1个时，偶现coredump问题解决ClickHouse HTTP请求为HTTP_BAD_REQUEST时出现crash问题解决ClickHouse HTTP块大小限制问题解决ClickHouse普通模式集群用户名密码修改、数据迁移问题解决ClickHouse安全集群场景下滚动重启失败问题解决ClickHouse扩容后manager上原有的用户和角色未同步至新节点的问题解决ClickHouse 普通集群执行remote语句失败问题解决ClickHouse实例扩容后，扩容节点分布式表的本地表未创建成功问题解决ClickHouse修复偶现的证书同步失败导致组件启动失败问题解决ClickHouse toWeek函数单调性问题解决ClickHouse WITH FILL 和WITH TOTALS 计算问题解决ClickHouse 表列名数字开头时，表join查询时无法成功的问题解决ClickHouse replaceRegexpAll的问题解决安全集群clickhouse二进制的LD_LIBRARY_PATH环境变量偶现失效问题解决在节点上看不到kudu的pid信息问题解决开启cas认证后，kudu服务不可用问题解决Kudu健康检查无法检测到故障问题解决impala manager页面上的配置未生效问题解决集群扩容task节点，managr中的主机列表中的host无impala实例信息问题解决HUE页面无法访问问题解决hue导出excel导致临时目录残留文件问题安装完成后必须的手动操作请参考安装完成后必须的手动操作。补丁兼容关系 MRS 3.1.0.0.1补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。安装补丁的影响请参考安装补丁的影响。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:安装补丁的影响

安装补丁的影响 MRS 3.1.0版本的补丁安装/卸载过程中会自动重启 OMS ，安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能，请选择适当的时间进行补丁安装。 MRS 3.1.0版本的补丁安装完成后，如需对接CES，请联系运维处理。 MRS 3.1.0版本打了补丁后，重新下载安装的客户端也需要执行客户端升级步骤。 MRS 3.1.0.8以及之后的补丁Spark新增特性Parquet/Orc分区表场景下，执行insert相关命令时，提供一个可选配置spark.sql.hive.convertInsertingPartitionedTable，控制Spark DataSource/Hive逻辑，默认值为false即使用Hive逻辑。如需使用Spark DataSource逻辑，将此配置改为true。慢盘隔离特性约束：隔离慢盘之前无法判断集群节点是否存在客户私有化数据，因此不要在节点数据盘存放个人私有化数据，避免慢盘隔离时对业务造成影响；自动触发慢盘隔离动作后，对于原来写两副本数据存在单副本运行的场景，存在一定风险，请知；同时华为侧运维人员会尽快对慢盘进行替换；慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点，此时该节点会变成隔离状态，客户无需特殊操作，MRS运维相关人员会及时介入处理并恢复。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:MRS 3.1.0.0.2补丁基本信息

MRS 3.1.0.0.2补丁基本信息表10 补丁基本信息补丁号 MRS 3.1.0.0.2 发布时间 2023-04-10 安装前处理安装此补丁前，需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz，补丁下载地址请参考补丁下载地址。如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。新特性和优化 MRS Manager 支持Manager运维通道支持Knox连接数告警支持补丁xml配置文件合并支持MRS管理面的作业返回日志路径支持对慢盘自动隔离能力大数据组件支持ClickHouse滚动重启设置超时时间，并在重启失败时主动退出运维模式支持ClickHouse屏蔽连接异常断开场景下，打印带堆栈exception Error日志增加ClickHouse磁盘检查开关支持HDFS单副本检测能力解决的问题 MRS 3.1.0.0.2 修复问题列表： MRS Manager 解决安装用户名支持带“.”补丁后，出现创建异常用户的问题解决executor每两小时有一批launcher-job任务提交失败问题解决扩容的节点ssh key不清理问题大数据组件解决Hive表存在多个TIMESTAP字段，在插入时存在某个字段不是时间格式会导致原来能够是时间格式的数据显示错位问题解决Hive表int列分区，值为01场景，无法删除分区问题解决FlinkServer页面单击任务详情，业务不能正常跳转问题解决StreamingFlinkSink写OBS从checkpoint恢复会抛异常导致作业失败解决FlinkServer页面上传jar包，大小限制为10MB问题，调整到200MB 解决ClickHouse修改密码后监控数据不显示问题解决ClickHouse支持MySQL引擎表无法连接MySQL时进程启动问题解决ClickHouse crash问题解决ClickHouse冷热分离，dettach/attach一个副本的数据，另一个副本会从attach节点copy数据，导致当前节点的数据存在OBS，而副本节点的数据存在本地的问题安装完成后必须的手动操作请参考安装完成后必须的手动操作。补丁兼容关系 MRS 3.1.0.0.2补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。安装补丁的影响请参考安装补丁的影响。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:MRS 3.1.0.0.5补丁基本信息

MRS 3.1.0.0.5补丁基本信息表9 补丁基本信息补丁号 MRS 3.1.0.0.5 发布时间 2023-04-30 安装前处理安装此补丁前，需要先安装支持补丁特性的定制补丁MRS_3.1.0_patch_20221111.tar.gz，补丁下载地址请参考补丁下载地址。如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。新特性和优化 MRS Manager 支持对慢盘自动隔离能力说明：如果需要打开慢盘隔离特性，在安装此补丁前，需要先安装支持慢盘隔离特性的定制补丁MRS_315_Patch_Diskmgt_v2.1_20230502.tar.gz，补丁下载地址请参考补丁下载地址。 MRS支持作业返回日志路径 MRS作业查询接口，支持返回多个application_id 大数据组件支持HDFS单副本检测能力解决的问题 MRS 3.1.0.0.5 修复问题列表： MRS Manager 解决当故障实例所在的节点数大于等于要缩容节点数时，缩容失败问题解决当所有task节点都异常时，缩容失败问题解决executor执行查询大数据量的hive表作业时，hivesql作业状态刷新与yarn作业执行结果不一致问题大数据组件解决ClickHouse执行的SQL中包含groupBitmap语句，内存持续上升，超过clickhouse配置参数限制的内存值的问题安装完成后必须的手动操作同步集群配置重启补丁兼容关系 MRS 3.1.0.0.5补丁包中已包含所有MRS 3.1.0版本单点问题修复补丁。安装补丁的影响请参考安装补丁的影响。

MAPREDUCE服务 MRS