检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通常情况下，开发者会将与某一方面业务相关的逻辑代码放在一个比较大的Jar包中，这种Jar包称为Fat Jar。 Fat Jar具有以下缺点： 随着业务逻辑越来越复杂，Jar包的大小也不断增加。 协调难度增大，所有的业务开发人员都在同一套业务逻辑上开发，虽然可以将整个业务逻辑划分为几个模块，但
使用Token认证机制时对Token的操作。 本章节内容适用于MRS 3.x及后续版本的启用Kerberos认证的集群。 前提条件 MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制，详细操作请参考Kafka服务端配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。
限的用户，并下载认证凭据文件用于程序认证。 以下MapReduce权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称，例如developrole。 在“配
产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程，业务进程不可用。 可能原因 节点同时运行的进程过多，需要扩展“pid_max”值。 系统环境异常。 处理步骤 扩展pid_max值。 打开M
Kafka客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Kafka客户端。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装客户端，例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件。“
setConfiguration()主要是获取对应的配置，设置全局变量等参数。 loginUserFromKeytab()获取TGT接口。 跨系统互信特性 MRS提供两个Manager之间的互信功能，用于实现系统之间的数据读、写等操作。 父主题： KrbServer及LdapServer
MRS集群是否支持切换操作系统？ 问： MRS集群是否支持切换操作系统？ 答： MRS集群内节点操作系统为ECS初始镜像，不支持切换操作系统。 父主题： 节点管理类
以下Spark2x权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Spark2x > 更多 > 启用Ranger鉴权”，查看该参数是否置灰。 是，创建用户并在Ranger中赋予该用户相关操作权限： 选择“系统 > 权限 >
不会丢失。 硬盘亚健康检测和故障处理，对业务不造成实际影响。 自动处理文件系统的故障，自动恢复受影响的业务。 自动处理进程和节点的故障，自动恢复受影响的业务。 自动处理网络故障，自动恢复受影响的业务。 MRS提供统一的可视化大数据集群管理界面，让运维人员更加轻松。 MRS提供统一
开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下：
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：
以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Kafka > 更多 > 启用Ranger鉴权”，查看该参数是否置灰。 是，创建用户并在Ranger中赋予该用户相关操作权限： 选择“系统 > 权限 > 用户
以下HBase权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > HBase > 更多 > 启用Ranger鉴权”，查看该参数是否置灰。 是，创建用户并在Ranger中赋予该用户相关操作权限： 选择“系统 > 权限 > 用户
以下Hive权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Hive > 更多 > 启用Ranger鉴权”，查看该参数是否置灰。 是，创建用户并在Ranger中赋予该用户相关操作权限： 选择“系统 > 权限 > 用户
Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1
开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下：
以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Kafka > 更多 > 启用Ranger鉴权”，查看该参数是否置灰。 是，创建用户并在Ranger中赋予该用户相关操作权限： 选择“系统 > 权限 > 用户
MRS集群是否支持重装系统？ 问： MRS集群是否支持重装系统？ 答： MRS集群内节点操作系统为ECS初始镜像，不支持重装操作系统。 父主题： 节点管理类
场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。
场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功能：实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
