检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS 从关系型数据库导入数据到HBase 从关系型数据库导入数据到Phoenix表
CREATE DATABASE创建数据库 本章节主要介绍ClickHouse创建数据库的SQL基本语法和使用说明。 基本语法 CREATE DATABASE [IF NOT EXISTS] database_name [ON CLUSTER ClickHouse集群名] ON CLUSTER
账号锁定导致启动Kafka组件失败 问题背景与现象 新创建的MRS集群,启动Kafka服务失败。 查看服务启动日志,显示认证失败。 /home/omm/kerberos/bin/kinit -k -t ${BIGDATA_HOME}/etc/2_15_ Broker /kafka
配置Hive读取关系型数据库 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤
通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下: Communications link failure; The driver has not received any packets from the server; 源端为DWS数据库时报错如下:
启动停止MRS集群 当不再需要使用MRS集群或对集群进行故障修复时,用户可以通过在MRS管理控制台或Manager中停止集群,集群停止后,集群内的组件将无法对外提供服务。 用户也可以将已停止的集群再次启动。 操作MRS集群前提条件 如果通过MRS管理控制台操作,需要已完成IAM用
RegionServer剩余内存不足导致HBase服务启动失败 用户问题 RegionServer剩余内存不足导致HBase服务启动失败。 原因分析 RegionServer启动时节点剩余内存不足,导致无法启动实例。排查步骤如下: 登录Master节点,到“/var/log/Bi
使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 问题 为什么在使用OfflineMetaRepair工具重新构建元数据后,HMaster启动的时候会等待namespace表分配超时,最后启动失败? 且HMaster将输出下列FATAL消息表示中止: 2017-06-15
当备NameNode存储元数据时,断电后备NameNode启动失败 问题 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby NameNode启动失败并发生如下错误信息。 回答 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby
与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracle-connector、oracle-partition-connector、mysql-fastpath-connector),专用数据库连接器特别针对具体数据库类型进行优化,相对通
与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracle-connector、oracle-partition-connector、mysql-fastpath-connector),专用数据库连接器特别针对具体数据库类型进行优化,相对通
Join,执行MapJoin时会生成localtask任务,localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候,启动多个localtask,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面: MRS 3.x
集群上下电之后HBase启动失败 问题背景与现象 集群的ECS关机重启后,HBase启动失败。 原因分析 查看HMaster的运行日志,发现有报大量的如下错误: 2018-03-26 11:10:54,185 | INFO | hadoopc1h3,21300,15220316
角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 数据库进入只读模式,业务数据丢失。 数据库进入只读模式,上层服务写业务操作相关数据丢失。 可能原因 磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查磁盘使用率是否达到上限
对应所有文件的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限,用户访问别人创建的数据库,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户对应角色在数据库“hdb”中查询和创建表的权限为例,操
配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据,并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下: DB2 Oracle 本章节适用于MRS 3.x及后续版本。
使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 问题 为什么在使用OfflineMetaRepair工具重新构建元数据后,HMaster启动的时候会等待namespace表分配超时,最后启动失败? 且HMaster将输出下列FATAL消息表示中止: 2017-06-15
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
acl表目录丢失导致HBase启动失败 问题背景与现象 集群HBase启动失败 原因分析 查看HBase的HMaster日志,报如下错误: 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证,执行如下命令。
修改hostname后导致WebHCat启动失败 问题背景与现象 用户修改hostname导致WebHCat启动失败。 查看对应节点WebHCat启动日志( /var/log/Bigdata/hive/webhcat/hive.log),发现报如下错误: 原因分析 MRS Web