检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
在集群外节点连接开启Kerberos认证的集群，HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常，但在集群外节点运行PrestoJDBCExample
Spark Streaming应用运行过程中重启Kafka，Web UI界面部分batch time对应Input Size为0 records 问题 在Spark Streaming应用执行过程中重启Kafka时，应用无法从Kafka获取topic offset，从而导致生成Job
MRS 3.1.1：MRS 3.1.1版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 3.1.0：MRS 3.1.0版本Log4j2远程执行漏洞（CVE-2021-44228）缓解措施 MRS 3.0.5：MRS 3.0.5版本Log4j2远程执行漏洞
版本说明 MRS 3.1.2-LTS.3版本说明 MRS 3.1.5版本说明 MRS 3.2.0-LTS.1版本说明 父主题： 发行版本
处理步骤 问题1：启动命令中增加--jars来指定对应kafka版本的jar包，一般是在Spark客户端目录/jars/streamingClient（0.8版本Kafka）和Spark客户端目录/jars/streamingClient010（0.10版本Kafka）。
自定义 版本类型 MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。
包括： MRS普通集群管理服务费：购买MRS普通版集群时使用该计费项。 MRS-LTS集群管理服务费：购买MRS LTS版集群时使用该计费项。 MRS专属集群管理服务费：专属区域购买MRS集群时使用该计费项，相关操作请参见创建专属云MRS集群。
表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择，具体功能详情及版本差异详情请参见版本功能差异说明。 购买时，“防护主机数量”需跟MRS集群中的节点数量保持一致。
MRS 2.1.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.1.1 发布时间 2023-07-28 新特性和优化 支持运维巡检 支持租户面直接对接CES 补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。
MRS 3.2.0-LTS.1版本打了补丁后，如果集群有安装IoTDB组件，在对接CES的时候，需要关闭该组件的指标上报。 MRS 3.2.0-LTS.1版本打了补丁后，重新下载安装的客户端也需要执行客户端升级步骤。
自定义 版本类型 MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。
该设计开发规范是基于MRS 3.3.0版本。 父主题： Hudi应用开发规范
功能总览 功能总览 全部 MapReduce服务 集群管理 文件管理 作业管理 运维管理 运营管理 用户权限管理 存算分离 Alluxio组件 CarbonData组件 CDL组件 ClickHouse组件 DBService组件 Doris组件 Flink组件 Flume组件 HBase
业界主流大数据发行版均支持Sqoop的安装，如果是自建的社区版大数据集群，可下载社区版Sqoop进行安装。借助Sqoop来解耦导出的元数据与关系型数据库的强依赖，将Hive元数据导出到HDFS上，与表数据一同迁移后进行恢复。 参考步骤如下： 在源集群上下载并安装Sqoop工具。
比如以2020.2版本的IntelliJ IDEA开发工具为例，单击“File > Settings > Appearance & Behavior > System Settings > HTTP Proxy”，选择“No proxy”，单击“OK”保存配置。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
