检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
warehouse.dir" do not conflict. 原因分析 当前登录的用户不具备操作此目录的权限或者文件目录格式不正确。 解决方案 Hive对load data inpath命令有如下权限要求,请对照下述要求是否满足: 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。
hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群的ZooKeeper包“zookeeper*.jar”。 使用exclusions排除掉hbase-client里面的zookeeper。
针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如:s1中的1表示通用型I代,s2中2表示通用型II代。 C表示规格,当
3”从集群中划分出的计算资源。 存储资源包括磁盘或第三方存储系统。 租户的存储资源是从集群总存储资源中划分出的,租户之间不可以互占存储资源。 图中:存储资源1、存储资源2和存储资源3分别是租户“t1”、租户“t2”和租户“t3”从集群中划分出的存储资源。 若用户想要使用租户资源或
无法访问MRS集群Manager页面如何处理? 问题现象 MRS集群创建完成后,无法通过管理控制台访问集群Manager管理页面。 排查思路 检查集群状态:Manager页面无法正常访问,请首先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问Manager。
Hive使用beeline -e执行多条语句报错如何处理? MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错: Error while compiling statement: FAILED: ParseException
Spark作业访问OBS报错“requestId=XXX”如何处理? 问: Spark作业访问OBS报错,错误信息如下,如何处理? xxx requestId=4971883851071737250 xxx 答: 登录Spark客户端节点,进入conf目录,修改配置文件“core-site
购买MRS集群时,找不到ZooKeeper组件如何处理? 问: 购买MRS集群时,为什么找不到ZooKeeper组件? 答: 创建MRS 3.x之前版本集群时,ZooKeeper组件为默认安装的组件,不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。
jdbc4-*.jar,与开源Postgre服务不兼容导致报错。 报错中type为12时:数据库的pg_hba.conf文件配置有误。 解决方案: 报错中type为5时:在每台MRS NodeManager实例所在节点上移动驱动包“gsjdbc4-*.jar”到“tmp”目录下。
实例”查看。 “USER”及“PASSWD”可在用户账号一览表中查看DBservice数据库默认用户及初始密码。 Hive元数据存放在外部的关系型数据库存储时,请通过如下步骤获取信息: 集群详情页的“数据连接”右侧单击“单击管理”。 在弹出页面中查看“数据连接ID”。 在MRS控制台,单击“数据连接”。
MRS节点访问OBS报错408如何处理? 问: MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
MRS集群内节点互信异常如何处理? 当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps
提交作业失败,报错与OBS相关如何处理? 问 为什么提交作业失败,报错与OBS相关? 答 与OBS相关的报错,一般与读写OBS相关,可通过以下步骤进行排查。 查看作业管理中失败作业详情,找到作业详情中的实际作业编号。如果实际作业编号为空,则执行4。 登录Manager界面,选择“集群
NameNode出现异常时接管其服务。 Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据,并且会周期性地向NameNode报告该DataNode的数据存放情况。 JournalNode
当达到100%时就会造成kafka不可用如何处理? 问题现象 客户购买的MRS Kafka流式集群节点内有多块磁盘,由于分区不合理及业务原因导致某几个磁盘的使用量很高。当达到100%时就会造成kafka不可用。 原因分析 需要提前干预处理磁盘数据,全局的log.retention
分析集群:用来做离线数据分析,提供Hadoop体系的组件。 流式集群:用来做流处理任务,提供流式处理组件。 混合集群:既可以用来做离线数据分析,又可以用来做流处理任务,提供Hadoop体系的组件和流式处理组件。 自定义:根据业务需求,可以灵活搭配所需组件(MRS 3.x及后续版本)。
operation DFS : [ADMIN PRIVILEGE] (state=,code=1) 原因分析 当前登录的用户不具备操作此命令的权限。 解决方案 如果登录的当前用户具有admin角色,请用set role admin来切换成admin角色操作。如果不具备admin角色,在Manager页面中给用户绑定对应角色的权限。
Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService(华为的Gaussdb数据库),也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 MySQL数据迁移到MRS集群Hive分区表
MRS导出数据到OBS加密桶失败如何处理? 问: MRS导出数据到OBS加密桶失败如何处理? 答: 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题:
MRS集群节点时间信息不正确如何处理? 如果集群内节点时间不正确,请分别登录集群内时间不正确的节点,并从2开始执行。 如果集群内节点与集群外节点时间不同步,请登录集群外节点,并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Ma