检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前
证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前，
证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前
MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) M
创建集群并执行作业 功能介绍 创建一个MRS集群，并在集群中提交一个作业。该接口不兼容Sahara。 （建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能） 支持同一时间并发创建10个集群。 使用接口前，您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站描述： http://hadoop.apache.org/docs/r3.1.1/api/index.html HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
schedule-tool工具使用指导 概述 schedule-tool工具，用于提交数据源为SFTP的作业。提交作业前可以修改输入路径、文件过滤条件，当目标源为HDFS时，可以修改输出路径。 参数说明 表1 schedule.properties配置参数说明 配置参数 说明 示例
为什么用户A的任务一直提交到queueA队列，用户B的任务却一直提交到queueB队列？ 答： MRS集群内用户绑定了多个队列时，系统在提交任务时会随机选择队列，建议合理设置用户的队列权限，最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时，可通过配置全局用户策略指定某用户的默认提交队列。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r2.7.2/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个。 FileSystem：是客户端应用的核心类。常用接口参见表1。
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
TezUI无法展示Tez任务执行细节 问题 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。 在设置Hive
WebUI界面无法展示Tez任务详情 问题 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。 在设置Hive
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个： FileSystem：是客户端应用的核心类。常用接口参见表1。
手动指定运行Yarn任务的用户 本章节适用于MRS 3.x及后续版本集群。 配置场景 目前Yarn支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。 修改以下变量为false，标识连接集群的认证模式为普通模式。
Manager登录时显示：这个账户已经被锁住了，请联系系统管理员来重新获得访问权限。 Manager界面登录用户被锁，导致作业无法提交并无法进入Manager页面。 通过后台提交作业执行kinit 用户名操作时提示如下异常： kinit: Clients credentials have been
ALM-17009 Oozie连接DBService状态异常 告警解释 Oozie会依赖DBService，提交任务后系统会检测DBService连接状态，当检测到与DBService的连接状态连续10次异常时，产生该告警。 当检测到Oozie连接DBService状态正常时，告警清除。
问： Launcher作业失败的，提示原因为：提交作业用户无“hdfs /mrs/job-properties”目录的写权限如何处理？ 答： 该问题已在MRS 2.1.0.6的补丁中修复，也可通过在MRS Manager页面给同步的提交作业用户赋予该目录“/mrs/job-properties”的写入权限进行处理。
手动指定运行Yarn任务的用户 配置场景 目前YARN支持启动NodeManager的用户运行所有用户提交的任务，也支持以提交任务的用户运行任务。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”。在搜索框中输入参数名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
