检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息
Server所在节点，并且在该节点启动Hive Server。WebUI是通过浏览器访问Hive。MRS仅支持Client方式访问Hive，使用操作请参考从零开始使用Hive，应用开发请参考Hive应用开发。 元数据存储：Hive将元数据存储在数据库中，如MySQL、Derby。Hive中的元数据包括表
数据仓库类型 产品类型概述 存算一体：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力，适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离：采用存算分离云原生架构，计算、存储分层弹性
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格
主机名 产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，
对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。
ALM-16001 Hive数据仓库空间使用率超过阈值 告警解释 系统每30秒周期性检测Hive数据仓库空间使用率，该指标可在Hive服务监控界面查看，指标名称为“Hive已经使用的HDFS空间占可使用空间的百分比”。Hive数据仓库空间使用率指标默认提供一个阈值范围（85%），
SCHEMA跨集群访问HiveMetaStore元数据 GaussDB(DWS) 存算分离版本DWS 3.0数仓支持通过建立EXTERNAL SCHEMA实现远端访问MRS的Hive数据源（包括Hive对接HDFS和Hive对接OBS两种场景），本实践详细地介绍了跨集群访问HiveMetaStore数据的操作流程供您参考。
数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务
配置Hive。 重命名/opt/hive-2.3.3/conf/hive-env.sh.template为hive-env.sh。 重命名opt/hive-2.3.3/conf/hive-log4j2.properties.template为hive-log4j2.properties。
切换到omm用户，并进入Hive客户端所在目录。 su - omm cd /opt/client 在Hive上创建存储类型为TEXTFILE的表product_info。 在/opt/client路径下，导入环境变量。 source bigdata_env 登录Hive客户端。 beeline
实时查询 进入实时查询页面 登录GaussDB(DWS) 管理控制台。 在“集群 > 专属集群”页面，找到需要查看监控的集群。 在指定集群所在行的“操作”列，单击“监控面板”，系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 实时查询”，进入实时查询监控页面。 在实时查询监
数据仓库规格 GaussDB(DWS)的规格按照产品类型分为存算一体和存算分离。其中存算一体还包含单机版模式。各产品类型的不同差异，详情请参见数据仓库类型。 低配置集群，如内存16G、vCPU4核及以下的规格，建议不要用于生产环境，可能会导致资源过载风险。 存算一体规格 存算一体
相应参数值，Hive常用参数如表1所示。 表1 Hive常用参数说明 参数名称 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关，取值范围为： true false 说明： 在使用Hive进行联表查询，
操作可参考添加Hive的Ranger访问权限策略。 Hive权限模型 使用Hive组件，必须对Hive数据库和表（含外表和视图）拥有相应的权限。在MRS中，完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。
访问权限策略。 Hive权限模型 使用Hive组件，必须对Hive数据库和表（含外表和视图）拥有相应的权限。在MRS中，完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。 Hive元数据权限。 与传统关
Hive JDBC接口介绍 Hive JDBC接口遵循标准的JAVA JDBC驱动标准，详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。 例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会产生“Method
数据仓库 表1 数据仓库权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库列表 GET /v1.0/{project_id}/common/warehouses octopus:dataWarehouse:list
数据仓库 获取数据仓库列表信息 获取数据仓库的数据列表 父主题： API
了解更多常见问题、案例和解决方案 热门案例 数据库、数据仓库、数据湖、湖仓一体分别是什么？ 为什么要使用云数据仓库服务GaussDB(DWS)？ 无法连接数据仓库集群时怎么处理？ 如何选择公有云DWS或者公有云RDS？ 数据在数据仓库服务中是否安全？ 如何清理与回收存储空间？ 更多 数据库连接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
