检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程,请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1,表2和表3配置MRS
如何查看MRS Hive元数据? Hive的元数据存放在MRS服务集群的GaussDB中,可执行如下步骤查看: 以root用户登录到DBServer主节点。 执行以下命令登录Hive元数据库: su - omm source $DBSERVER_HOME/.dbservice_profile
HiveSQL代码优化原则 image.png 优化的基本流程如下: 第一,选择性能评估项及各自目标,常见的评估性能指标有程序的时延和吞吐量; 第二,如果系统是由多个组件和服务构成,需要分组件和服务定义性能目标; 第三,明确当前环境下各个组件的性能; 第四,分析定位性能瓶颈;
版本现象使用开源Hive相关依赖(hive-exec、hive-metastore等)无法连接MRS Hive MetaStore 问题1:MRS Hive MetaStore 是否支持外部访问 问题2:如果支持外部访问需要哪些必要操作?(必须强制要MRS Hive相同的依赖?或
点击并拖拽以移动点击并拖拽以移动编辑 Hive基础06、Hive引入数组 目录 Hive基础05、Hive引入数组 1、建表语句 2、创建【arrayInfo.txt】 3、上传到【/soft/temp/】 4、引入数组操作 1、建表语句 英文关键字解析:
比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hiverc vi ~/.hiverc use
-service hiveserver & //Hive低版本提供的服务是:hiveserverhive --service hiveserver2 & //Hive0.11.0以上版本提供了的服务是:hiveserver2这里我使用的hive1.0版本,故使用hiveserver2服务,
利用Hive组件创建数据仓库,实现Hive数据仓库加载。具体来说,首先在Hive中创建Database,然后创建数据表。
点击并拖拽以移动点击并拖拽以移动编辑 Hive基础03、Hive基本使用 目录 1、查看hive数据库 2、进入Hive 3、库操作 1、查看hive数据库 登录MySQL数据库 mysql -u root -p 点击并拖拽以移动 密码【123456】 查看【hive】数据库 show
创建MRS HIVE连接 1. 在连接管理界面单击“新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图2所示。 o 名称:用户自定义连接名称,例如“obslink”。 o OBS服务器、端口:配置为OBS实际的地址信息。
【功能模块】jdbc获取hive连接失败【操作步骤&问题现象】1、jdbc获取hive连接失败,一直报hadoop相关的错误,麻烦看看是什么原因【截图信息】【日志信息】(可选,上传日志内容或者附件)
点击并拖拽以移动点击并拖拽以移动编辑 Hive基础07、Hive引入Map 1、建表语句 创建一个成绩表,记录学生的各个科目成绩: 英文关键字解析: 1、CREATE TABLE 创建一个指定名字的表,如果库中已有相同名的表,则抛出异常;用户可以使用 IF NOT
准备Hive JDBC开发环境 为了运行Hive组件的JDBC接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Hive示例工程。 在Hive示例工程根目录,执行mvn install编译。
点击并拖拽以移动点击并拖拽以移动编辑 Hive基础05、Hive引入数据 前提 Hive表中的数据不能通过insert语句插入,而是load data语句进行加载,其中加载的数据来源主要包括: 1、本地文件系统加载数据 2、HDFS文件系统加载数据 load
HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障,重启之后仍为故障状态。 原因分析 在Manager界面单
如何对Hive表大小数据进行监控 问题 如何对Hive中的表大小数据进行监控? 回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常
创建Hive角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置Hive的角色。Hive角色可设置Hive管理员权限以及Hive数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表
使用Hive Hive用户权限管理 Hive客户端使用实践 快速使用Hive进行数据分析 Hive数据存储及加密配置 Hive on HBase 配置Hive读取关系型数据库数据 Hive企业级能力增强 Hive性能调优 Hive运维管理 Hive常见SQL语法说明 Hive常见问题
表1 Hive日志列表 日志类型 日志文件名 描述 运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志 /hiveserver/hive.log HiveServer进程的运行日志 /hiveserver/hive-omm-<日期>-<PID>-gc
建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。