检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备连接MapReduce集群配置文件 配置并导入样例工程 MapReduce提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置MapReduce样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群,需要进行安全认证。 配置MapReduce应用安全认证
同时配置hosts域名信息。 准备Spark连接集群配置文件 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 根据场景开发工程 提供了Sc
Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。 查询分析(Query Ana
户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 根据场景开发工程 提供了Sc
hosts域名信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Kafka应用安全认证
hosts域名信息。 准备连接Kafka集群配置文件 配置并导入样例工程 Kafka提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Kafka应用安全认证
DL的API。 cdl CDL的普通用户组,属于该组的用户可以执行CDL的创建和查询操作。 storm Storm的普通用户组,属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 stormadmin Storm的管理员用户组,属于该组的用户拥有提交拓扑和管理所有拓扑的权限。
装和配置。 准备Spark应用运行环境 获取并导入样例工程 或者新建工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 根据场景开发工程 提供了Scala、Java、Python三
用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序
用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序
用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序
ve权限,才能运行Spark样例工程。 准备MRS应用开发用户 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 准备安全认证 如果您使用的是安全集群,需要进行安全认证。
准备Spark连接集群配置文件 配置并导入样例工程 Spark提供了不同场景下的多种样例程序,用户可以可获取样例工程并导入本地开发环境中进行程序学习,或者可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置安全认证 如果您使用的是开
单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 在服务节点下的参数属于服务级别的配置参数,在角色节点下的参数是角色级别的配置参数,可参考修改MRS角色实例参数。 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。
如果您是首次使用MRS的用户,建议您学习并了解如下信息: 基础知识了解 通过MRS组件介绍和产品功能章节的内容,了解MRS相关的基础知识,包含MRS各组件的基本原理和增强特性介绍,以及MRS服务的特有概念和功能的详细介绍。 入门使用 您可以参考《快速入门》学习并上手使用MRS。《快速入门
已创建或获取访问Oozie服务的人机用户账号及密码。 Shell任务: 该用户需要从属于hadoop、supergroup组,添加Oozie的角色操作权限,并确保Shell脚本在每个nodemanager节点都有执行权限。 SSH任务: 该用户需要从属于hadoop、supergroup组,添加Oozie的角色操作权限,并完成互信配置。
已创建或获取访问Oozie服务的人机用户账号及密码。 Shell任务: 该用户需要从属于hadoop、supergroup组,添加Oozie的角色操作权限,并确保Shell脚本在每个nodemanager节点都有执行权限。 SSH任务: 该用户需要从属于hadoop、supergroup组,添加Oozie的角色操作权限,并完成互信配置。
API,在下文中统称为新API。 处理步骤 旧Consumer API 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端
根据业务需求,需要保留租户已有的数据时请同时勾选“保留该租户资源的数据。”,否则将自动删除租户对应的存储空间。 如果使用不属于supergroup组的用户执行删除租户操作,并且不保留租户数据,需要使用属于supergroup组的用户登录HDFS客户端,手动清理租户对应的存储空间,以免数据残留。 如果确认
常运行。 已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。