检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TezUI无法展示Tez任务执行细节 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
如何修复长时间处于RIT状态的Region 问题 在HBase WebUI界面看到有长时间处于RIT状态的Region,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 父主题: HBase对外接口介绍
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面,可以查看指定业务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群
MRS可靠性增强 MRS在基于Apache Hadoop开源软件的基础上,在主要业务部件的可靠性、性能调优等方面进行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的,单节点故障不影响系统整体运行;而以集中模式运作的
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性,并消除早期MapReduce框架中的JobTracker性能瓶颈,开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个
在启用Ranger鉴权场景下,取消用户所有权限后,该用户仍能够操作自己创建的任务。例如: 在Ranger WebUI界面取消用户admintest的所有权限: 使用admintest用户登录CDL WebUI界面后,该用户可以在“作业管理界面”操作自己创建的任务: 可能原因 用户未删除Ranger策略上的“{OWNER}”权限。
存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。
obs-website.cn-north-1.myhuaweicloud.com/。 配置华为开源镜像仓 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请
操作步骤 访问Loader页面。 登录集群详情页面,选择“服务管理”。 选择“Hue”,在“Hue概述”的“Hue WebUI”,单击“Hue (主)”,打开Hue的WebUI。 选择“Data Browsers > Sqoop”。 默认显示Loader页面中的作业管理界面。 在Loader页面,单击“管理连接”。
执行CDL同步数据到Hudi任务后,在Manager界面,选择“集群 > 服务 > Yarn”,单击“ResourceManager Web UI”后的超链接进入Yarn WebUI界面,在任务列表中单击该任务ID,单击“Logs”,报错当前用户无权限创建表,具体报错如下: org.apache
本章节提供从零开始使用Spark提交sparkPi作业的操作指导,sparkPi是最经典的Spark作业,它用来计算Pi(π)值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子,其中包含sparkPi。可以从https://archive.apache.org/dist/spark/spark-2
HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障,重启之后仍为故障状态。 原因分析 在Manager界面单独
MRS集群部署方案说明 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程,无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。 如需自定义集群部署方式,可在创建集群时的“集群类型”选择“自定义”,实现用户自主定义集群的进程实例在集群节点中的部署方式。
Spark Streaming应用运行过程中重启Kafka,Web UI界面部分batch time对应Input Size为0 records 问题 在Spark Streaming应用执行过程中重启Kafka时,应用无法从Kafka获取topic offset,从而导致生成J
待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 组件选择 Hadoop分析集群 基于系统预置的集群模板选择要购买的集群组件。 可用区 可用区1 选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default
解决集群内Flume客户端无法使用委托访问OBS问题 解决YARN开源原生界面作业占用队列资源百分比不显示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一:(import场景)使用sqoop import命令抽取开源Postgre到MRS HDFS或Hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop import命令倒数时报错:
修改MRS角色实例参数 执行MRS角色实例主备倒换 退服和入服MRS角色实例 切换MRS集群组件Ranger鉴权 访问MRS集群上托管的开源组件Web页面 父主题: 管理MRS集群