检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。
远程执行漏洞(CVE-2021-44228)缓解措施 父主题: 漏洞公告
MRS Fastjson漏洞修复指导 简介 影响范围 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题: 漏洞公告
漏洞公告 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)公告 Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)修复指导 MRS Fastjson漏洞修复指导
父主题: MRS Fastjson漏洞修复指导
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。
ps -ef |grep ControllerService 如果包含参数“ -Dfastjson.parser.safeMode=true”,说明漏洞问题已经规避,如下图所示: 使用omm用户在备OMS节点重复执行1与2。 父主题: MRS Fastjson漏洞修复指导
Fastjson漏洞修复指导
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。
使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。
nodeagent MRS 3.1.2.x执行章节: 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题: MRS Fastjson漏洞修复指导
使用omm用户登录任意KafkaUI实例节点,查看进程: ps -ef | grep KafkaUI 如果包含参数“-Dfastjson.parser.safeMode=true”,说明漏洞问题已经规避,如下所示: 父主题: MRS Fastjson漏洞修复指导
简介 问题描述 Fastjson披露存在一处反序列化远程代码执行漏洞,漏洞影响所有1.2.80及以下版本,成功利用漏洞可绕过autoType限制,实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时,将可能导致攻击者远程在业务平台中执行任意代码。
使用特定的规则扫描Hbase表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。
使用omm用户登录任意FlinkServe实例节点,查看进程: ps -ef | grep FlinkServer 如果包含参数“-Dfastjson.parser.safeMode=true”,说明漏洞问题已经规避,如下所示: 父主题: MRS Fastjson漏洞修复指导
SQL样例: select a,b,c from test where b=xxx 原因分析 按照设定,任务应该只扫描b=xxx的分区,但是查看任务日志可以发现,实际上任务却扫描了所有的分区再来计算b=xxx的数据,因此任务计算的很慢。
已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.11补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。