检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Fastjson漏洞修复指导 简介 影响范围 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题： 漏洞公告
影响范围 涉及版本 MRS 3.x 涉及模块 管理面：不涉及该漏洞 租户面：Manager（Web+Controller+nodeagent）、Kafka、Flink MRS 3.1.0.x执行以下章节： 修复Manager Web 修复Manager Controller 修复Manager
漏洞公告 Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）公告 Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导 MRS Fastjson漏洞修复指导
FlinkServer 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下所示： 父主题： MRS Fastjson漏洞修复指导
grep KafkaUI 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下所示： 父主题： MRS Fastjson漏洞修复指导
如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示： 使用omm用户在备OMS节点同样执行1与2。 父主题： MRS Fastjson漏洞修复指导
Log4j2 远程代码执行漏洞（CVE-2021-44228）修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复： 现有集群节点安装补丁 扩容节点安装补丁 前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch
如果包含参数“ -Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示： 使用omm用户在备OMS节点重复执行1与2。 父主题： MRS Fastjson漏洞修复指导
NodeAgent 如果包含参数“-Dfastjson.parser.safeMode=true”，说明漏洞问题已经规避，如下图所示： 父主题： MRS Fastjson漏洞修复指导
式开放了公网访问权限，请确认输入源是否可信，同时建议您根据漏洞规避方案进行加固。 漏洞规避方案 请根据MRS集群版本，从如下链接中选择相应的漏洞规避方案。 MRS 3.1.1：MRS 3.1.1版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 3.1.0：MRS
简介 问题描述 Fastjson披露存在一处反序列化远程代码执行漏洞，漏洞影响所有1.2.80及以下版本，成功利用漏洞可绕过autoType限制，实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时，将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时，MRS集群如何进行操作系统漏洞升级？ 问题现象 在使用安全软件测试集群时，发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中，因此需要进行漏洞升级。 处理步骤 修复漏洞前请确认是否开启了主机安全服务（Host
from test where b=xxx 原因分析 按照设定，任务应该只扫描b=xxx的分区，但是查看任务日志可以发现，实际上任务却扫描了所有的分区再来计算b=xxx的数据，因此任务计算的很慢。并且因为需要扫描所有文件，会有大量的OBS请求发送。 MRS默认开启基于分区统计信息的执
aseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体
aseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则，例如：setCaching。 使用特定的规则扫描Hbase表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展，当集群规模不符合业务要求时，用户可以通过该功能进行集群节点规模的调整，进行扩容或者缩容；在缩容节点时，MRS会智能地选择负载最少或者迁移数据量最小节点，并且在缩容过程中，缩容节点不再接收新的任务，正在执行
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景，管理员可在线按照节点范围或者组件角色范围快速检视所有日志，通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
ClickHouse数据入库工具 最佳实践方案 ClickHouse数据加工流程最佳实践：在数据湖中通过Hive&Spark（批量）/FlinkSQL（增量）加工成大宽表后，通过CDL/Loader工具实时同步到ClickHouse，下游BI工具和应用进行实时OLAP分析。 数据加工
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
