检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS.1.1补丁说明
列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 升级过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续3-5分钟。
集群不能存在被隔离的主机,如果存在,需要先恢复被隔离主机。 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。
告警属性 告警ID 告警级别 是否自动清除 24011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件即将失效,对系统目前运行无影响。
产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 已经和Impala服务端建立的连接过多,或者阈值设定的太小。
产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 已经和Impala服务端建立的连接过多,或者阈值设定的太小。
购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 问: 购买MRS集群时,为什么找不到HDFS、Yarn、MapReduce组件? 答: HDFS、Yarn和MapReduce组件包含在Hadoop组件中,当购买MRS集群时无法看到HDFS、Yarn和M
MRS集群用户绑定多个队列时系统如何选择队列? 问: MRS集群内属于同一个用户组,并且权限也相同的两个用户A和B,同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列,用户B的任务却一直提交到queueB队列? 答: MRS集群内用户绑
配置描述 进入Mapreduce服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称,修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。 作业日志参数: 表1 参数说明
整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。 配置说明:
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客
通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,配置以下相关参数以提升HBase数据读写性能调优。 JVM GC参数 RegionServer “GC_OPTS”参数设置建议:
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3
创建FlinkServer应用 通过应用来隔离不同的上层业务。 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。
写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错: java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter
该功能适用于MRS 3.5.0及之后版本。 操作步骤 使用MRS集群管理员用户(例如admin)登录Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.fgl.enable”参数,配置项详细说明如下表。
该功能适用于MRS 3.2.0-LTS.1及之后版本。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.file.close.num-c
Hudi写入小精度Decimal数据失败 问题 Hudi表初始入库采用BULK_INSERT方式入库含有Decimal类型的数据,之后执行upsert,数据写入时报错: java.lang.UnsupportedOperationException: org.apache.parquet
CHANGE_TABLE Hudi CALL COMMAND语法适用于MRS 3.2.0及之后版本。 命令功能 CHANGE_TABLE命令可以方便地修改表的类型以及索引,由于Hudi表本不支持修改表类型及索引等关键参数,该命令实际是将表重写。 命令格式 call change_table(table