检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS版集群支持HetuEngine、IoTDB等组件,如果您需要使用相关组件,您可以选择购买LTS版集群。 由于已购买的LTS版集群无法切换为普通版,请根据需要选择购买。 不同版本计费差异 普通版和LTS版由于功能不一致,计费存在一定差异,详情请查看计费说明,您也可以通过MRS
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用Java(JDBC和HCatalog)、Python、Python3接口进行应用开发,要准备的开发和运行环境分别如下表所示。 表1 JDBC/Hcatalog开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。
iostat -x -t 1 1 其中: “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 MRS 3.1.0版本: 在操作系统中执行iostat -x -t获取: MRS 3
完成Hive和CSS服务的Elasticsearch直接的数据交互,通过Hive外部表的方式,可以快速将Elasticsearch索引数据映射到Hive表中。 Elasticsearch-Hadoop (ES-Hadoop) 连接器将Hadoop海量的数据存储和深度加工能力与El
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制,可以通过配置不同的参数来保障消息传输,进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响: 配置高
在操作系统中执行以下命令采集数据: iostat -x -t 1 1 其中: “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为: svctm = (tot_ticks_new
开发和部署HetuEngine UDF 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine UDF。 MRS 3.2.1及以后版本,需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。
table_name来uncache表。 被cache的表也可以在Spark Driver UI的Storage标签里查看。 父主题: SQL和DataFrame
开发和部署HetuEngine UDF 开发和部署HetuEngine Function Plugin 开发和部署对接HetuEngine的Hive UDF 开发和部署HetuEngine UDF 父主题: 使用HetuEngine
开发和部署HetuEngine Function Plugin 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。 MRS 3.2.1及以后版本,需要基于JDK17
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
开发和部署对接HetuEngine的Hive UDF 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用Hive UDF的具体步骤。 MRS 3.2.1及以后版本,需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
返回提供的最小值。 批量比较判断:ALL,ANY和SOME 量词ALL,ANY和SOME可以参考以下方式,结合比较操作符一起使用: expression operator quantifier ( subquery ) 以下是一些量词和比较运算符组合的含义,ANY和SOME具有相同的含义,表中的ANY换为SOME也同样:
random(n) → [same as input] 返回介于0和n(不包括n)之间的伪随机数 select random(5);-- 2 random(n)包含数据类型tinyint,bigint,smallint,integer。 统计学函数 二项分布的置信区间有多种计算公式,最常见的是[
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
error: unsupported feature flags 回答 当Impala 4.3.0版本(MRS 3.3.1-LTS和MRS 3.5.0-LTS)查询低版本的Kudu(MRS 3.0.5版本)表时(<=1.15.0),需要设置查询参数:set enabled_runtime_
数组函数和运算符 下标操作符:[] 描述:下标操作符用于访问数组中的元素,并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
有聚合(sum/avg/max/min)结果均为0。 只有在rollup和cube操作中对出现在group by中的字段进行聚合结果才是0,非rollup和cube操作其结果跟预期一致。 父主题: SQL和DataFrame