检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Fastjson漏洞修复指导 简介 影响范围 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题： 漏洞公告
Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。
漏洞公告 Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）公告 Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导 MRS Fastjson漏洞修复指导
远程执行漏洞（CVE-2021-44228）缓解措施 父主题： 漏洞公告
父主题： MRS Fastjson漏洞修复指导
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。
ps -ef |grep ControllerService 如果包含参数“ -Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示： 使用omm用户在备OMS节点重复执行1与2。 父主题： MRS Fastjson漏洞修复指导
使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
使用omm用户登录任意KafkaUI实例节点，查看进程： ps -ef | grep KafkaUI 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下所示： 父主题： MRS Fastjson漏洞修复指导
Fastjson漏洞修复指导
登录Core节点后台，参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)？配置yum源。 使用uname -r或rpm -qa |grep kernel命令，查询并记录当前节点内核版本。
简介 问题描述 Fastjson披露存在一处反序列化远程代码执行漏洞，漏洞影响所有1.2.80及以下版本，成功利用漏洞可绕过autoType限制，实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时，将可能导致攻击者远程在业务平台中执行任意代码。
使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。
本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能，用户可设置合并后的平均文件大小。 支持的表类型 Spark：Parquet、ORC、CSV、Text、Json。
本工具主要有如下两个功能： 扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能，用户可设置合并后的平均文件大小。 支持的表类型 Spark：Parquet、ORC、CSV、Text、Json。
使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。
nodeagent MRS 3.1.2.x执行章节： 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题： MRS Fastjson漏洞修复指导
使用omm用户登录任意FlinkServe实例节点，查看进程： ps -ef | grep FlinkServer 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下所示： 父主题： MRS Fastjson漏洞修复指导
SQL样例： select a,b,c from test where b=xxx 原因分析 按照设定，任务应该只扫描b=xxx的分区，但是查看任务日志可以发现，实际上任务却扫描了所有的分区再来计算b=xxx的数据，因此任务计算的很慢。
已修复漏洞披露 解决Spark远程代码执行漏洞，漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.11补丁期间会重启MRS Manager，滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
