-
使用Hue WebUI操作Hive表 - MapReduce服务 MRS
使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件,且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。
-
HDFS C API接口介绍 - MapReduce服务 MRS
准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
-
在Hue界面中查询Oozie作业结果 - MapReduce服务 MRS
单击菜单左侧的,在打开的页面中可以查看Workflow、计划、Bundles任务的相关信息。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息: 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。
-
删除集群 - MapReduce服务 MRS
如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要删除的集群对应的“
-
Hive服务运行状态为亚健康是否会影响上层业务? - MapReduce服务 MRS
Hive服务运行状态为亚健康是否会影响上层业务? 问: MRS集群内的Hive服务运行状态显示为“亚健康”,是否会影响上层业务? 答: 集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中,登录Manager查看集群其它服务状态,发现HBase服务被停止
-
在Hue界面中查询Oozie作业结果 - MapReduce服务 MRS
单击菜单左侧的,在打开的页面中可以查看Workflow、计划、Bundles任务的相关信息。 默认显示当前集群的所有作业。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息: 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。
-
准备MapReduce样例初始数据 - MapReduce服务 MRS
ata1.txt,input_data2.txt到此目录,操作如下: 执行以下命令进入HDFS客户端目录并认证用户。 cd HDFS客户端安装目录 source bigdata_env kinit 组件业务用户 (该用户需要具有操作HDFS的权限,首次认证需要修改密码) 执行以下命令创建“/tmp/input”目录。
-
Hudi - MapReduce服务 MRS
多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构 Hudi特性 ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视图/增量视图/实时视图),支持快速数据分析。
-
管理Storm拓扑 - MapReduce服务 MRS
单击“Activate”,转化当前拓扑为激活状态。 去激活拓扑 单击“Deactivate”,转化当前拓扑为去激活状态。 重部署拓扑 单击“Rebalance”,将当前拓扑重新部署执行,需要输入执行重部署的等待时间,单位为秒。一般在集群中节点数发生变化时进行,以更好利用集群资源。 删除拓扑 单击“Kil
-
ALM-16046 Hive数据仓库权限被修改 - MapReduce服务 MRS
告警属性 告警ID 告警级别 是否自动清除 16046 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库的权限被修改,会影响当前用户,
-
集群列表简介 - MapReduce服务 MRS
其状态为“冻结”。本文提及的冻结一般指欠费冻结,其它冻结场景请参见资源冻结的类型有哪些?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“运行中”状态。如果用户没有续费,冻结期限到期后集群会被删除,状态更新为“已删除” 故障节点修复中 集群中故障的节点
-
Spark - MapReduce服务 MRS
执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包。 集群jar包路径:“客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 父主题: MRS应用开发开源jar包冲突列表说明
-
Hue上执行Impala SQL查询中文报错 - MapReduce服务 MRS
left()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。 处理步骤 登录Impala客户端安装节点,执行以下命令。 cd 客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell -d bigdata 执行以下命令查询表数据。
-
MRS集群Core节点扩容成功后部分实例启动失败 - MapReduce服务 MRS
如果启动失败,根据任务列表里中任务的报错信息进行修复再尝试重启。 如果异常角色较多,可单击右上角的“管理操作”选择启动所有组件。 如果存在其他情况导致服务异常无法解决,请联系技术服务协助处理。 也可通过集群Manager页面进行启动实例操作,具体请参考实例管理概述。 父主题: 附录
-
Spark2x - MapReduce服务 MRS
执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包。 集群jar包路径:客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 Spark jar包冲突也可以参考常见jar包冲突处理方式。 父主题:
-
退订集群 - MapReduce服务 MRS
必确认完成数据备份后再提交退订。 退订规则请参见退订规则说明。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群退订操作。当MRS集群部署失败时,集群会被自动退订。 操作步骤 登录MRS管理控制台。 在左侧导航栏中选择“现有集群”。 在需要退订的包年包月集群对应的“操作”列中,单击“退订”。
-
系统概览 - MapReduce服务 MRS
自定义:选择自定义时,在时间范围内自行选择需要查看的时间。 单击“查看”可以查看相应时间区间的监控数据。 MRS Manager在“服务概览”显示各个服务的“健康状态”和“角色数”。 单击曲线图表上侧的图标,可显示具体的指标说明信息。 自定义监控指标报表。 单击“定制”,勾选需要在MRS
-
网络问题导致运行应用程序时出现异常 - MapReduce服务 MRS
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时,发现连接不上MRS集群,而在Linux环境下(和安装了MRS集群的机器是同一个网络)却运行正常。 回答 由于kerberos认证需要使用UDP协议,而防火墙做了特殊处理关掉了需要使用的UDP端口,导致
-
删除集群 - MapReduce服务 MRS
如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 包年包月集群无法执行删除操作,如需退订包年包月集群请参见退订集群。 操作步骤 登录MRS管理控制台。
-
MapReduce与其他组件的关系 - MapReduce服务 MRS
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 MapReduce是一种编程模型,用于大数据集(大于1TB)的并行运