检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
address STRING) -- 一个表可以拥有一个或多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度,还可对数据按照一定的条件进行管理。 -- 使用关键字PARTITIONED BY指定分区列名及数据类型 PARTITIONED
address STRING) -- 一个表可以拥有一个或多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度,还可对数据按照一定的条件进行管理。 -- 使用关键字PARTITIONED BY指定分区列名及数据类型 PARTITIONED
如果用户访问别人创建的表或数据库,需要授予权限。所以根据Hive使用场景的不同,用户需要的权限可能也不相同。 表1 Hive使用场景 主要场景 用户需要的权限 使用Hive表、列或数据库 使用其他用户创建的Hive表、列或数据库,不同的场景需要不同的Hive权限,例如: 创建表,需要“建表”权限。
如果用户访问别人创建的表或数据库,需要授予权限。所以根据Hive使用场景的不同,用户需要的权限可能也不相同。 表1 Hive使用场景 主要场景 用户需要的权限 使用Hive表、列或数据库 使用其他用户创建的Hive表、列或数据库,不同的场景需要不同的Hive权限,例如: 创建表,需要“建表”。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
配置ClickHouse对接普通模式Kafka 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 本章节主要介绍ClickHouse连接普通模式的Kafka,消费Kafka的数据。 前提条件 已创建Kafka集群,且为普通模式(关闭Kerberos认证)。 已创建Cl
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 Yarn资源不足情况下,不建议开启多租户模式。 配置描述
L、Derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 Hive结构 Hive为单实例的服务进程,提供服务的原理是将HQL编译解析成相应的MapReduce或者HDFS任务,图1为Hive的结构概图。 图1 Hive结构
包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
计费模式 计费模式概述 包年/包月 按需计费
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Hive作为数据仓库类型数据库,其并不能支持所有的JDBC标准API。 例如事务类型的操作:rollback、setAutoCommit等,执行该类操作会产生“Method not supported”的SQLException异常。
HDFS进入安全模式导致HBase服务异常,退出安全模式后HBase如何快速恢复 现象描述 MRS 3.5.0及之后版本,HDFS进入安全模式后导致HBase服务异常,退出安全模式后HBase如何快速恢复? 原因分析 HDFS进入安全模式后HBase服务异常,导致meta表下线;
用户用于认证的账号Principal,使用准备MRS应用开发用户章节中创建的用户。 userKeytabPath /opt/FIclient/user.keytab 用户用于认证的Keytab文件,将准备的开发用户的user.keytab文件复制到示例参数值的路径下。 ZKServerPrincipal zookeeper/hadoop
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
依赖于视图所在的表的相应权限。即用户拥有视图的查询权限时,不管是否有表权限都可以进行查询。视图的权限是针对整个表而言的,不支持对其中的部分列创建视图权限。 视图权限在SparkSQL权限上的限制与列权限相似,详细如下: 在spark-sql模式下,只有视图权限而没有表权限,且没有
依赖于视图所在的表的相应权限。即用户拥有视图的查询权限时,不管是否有表权限都可以进行查询。视图的权限是针对整个表而言的,不支持对其中的部分列创建视图权限。 视图权限在SparkSQL权限上的限制与列权限相似,详细如下: 在spark-sql模式下,只有视图权限而没有表权限,且没有
sessionWaitTime 多租户模式下,当JDBCServer的session连接数为0时,停止JDBCServer前的等待时间。 180000 spark.thriftserver.proxy.sessionThreshold 多租户模式下,当JDBCServer的session使用率(公式:当前session数
Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备工程 Spark提供了不同场景下的样例程序