检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kill Action 功能描述 流程任务运行期间发生异常后，流程的异常结束节点。 参数解释 Kill Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name kill活动的名称 message 根据业务需要，自定义的流程异常打印信息 ${wf
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”，打开Workflow编辑器。 单击“文档”， 在操作列表中选择Hive脚本，将其拖到操作界面中。
划分Map任务数据输入的范围。 此文件在BulkLoad客户端退出时会被自动删除。 一般来说当所有Map任务都启动运行以后，退出BulkLoad客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制；Reduce任务下载一个已运行完成的Map任务的数据失败次数过多时，Map任务也会被重新执行。
点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。 前提条件 已安装Oozie、ZooKeeper服务，且服务正常运行。 没有任务正在运行。 如果当前集群不是
on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟，从而导致连接超时问题，最终使得任务失败。 将参数中的核数设置为1，“--executor-cores 1”，任务正常完成，单个任务处理时间在合理范围之内(15秒左右)。 16/02/29 02:24:46
':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HiveQL语言非常容易的完成数据提取、转换和加载（ETL）。
过高。 Yarn WebUI界面上显示只有少量任务在运行。 登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。 Mapreduce服务的汇聚日志配置参数如下： 原因分析 客户提交任务的操作过于频繁，且聚合后的日志文件被删除的时间
升级节点规格可能存在规格升级成功后组件启动失败或组件异常导致节点升级后出现异常的情况，现象如下： 升级失败的节点规格已经升级成功。 失败任务管理中有新增的升级规格失败任务。 若IAM用户已同步，可在组件管理观察到存在异常角色。 若未同步，可在集群Manager页面观察到存在异常角色。 原因分析
用于将管控面对集群的操作进行封装，比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业，随着任务量的增大或者任务并发较高，有可能会导致Executor内存不足，导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户
':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight
导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的
是，操作结束。 否，执行3。 如阈值已超过80%，请检查告警出现时刻是否有突发的大量并发查询任务，突发大量任务将会导致内存占用飙升，待任务执行完成后检查告警是否消失，期间可能有因内存不足而执行失败或取消的任务，请重试。 如内存占用超过阈值为常态化状态，需要考虑集群扩容。 是，操作结束。 否，执行4。
名表时不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确，校验失败。 如果不存在指定的恢复目录，校验失败。 如果不满足强制覆盖的条件，校验失败。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 恢复成功后进度显示为绿色。
直接重启 直接重启期间，不可新提交任务，正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。
直接重启 直接重启期间，不可新提交任务，正在运行Spark、Flink任务有重试机制不受影响。 直接重启耗时约5分钟。 滚动重启 依赖NodeManager的remote shuffle Spark任务受影响，Flink任务有概率失败，Hive任务有概率失败。 滚动重启10节点耗时约25分钟。
Jupyter WebUI（保证ECS的安全组对外放通本地公网IP和9999端口），登录密码为步骤 2设置的密码。 图3 登录Jupyter WebUI 创建代码。 创建一个新的python3任务，使用Spark读取文件。 图4 创建Python任务 登录到集群Manager界面
注册账号并实名认证。 在创建MRS集群之前，请先注册华为账号并开通华为云，进行实名认证。 如果您已开通华为云并进行实名认证，请忽略此步骤。 请您保证账户有足够的资金，以免创建MRS集群失败，具体操作请参见账户充值。 已准备具有创建MRS集群权限的IAM用户，详细操作请参见创建IAM用户并授权使用MRS。
业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。
NodeManager定义的存储目录不正确或Yarn的存储规划变化时，MRS集群管理员需要在Manager中修改NodeManager的存储目录，以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn.nodemanager.local-dirs”和日志目录“yarn
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
