检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述: http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
配置Hive表分区动态覆盖 配置场景 在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。
配置Hive表分区动态覆盖 配置场景 在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。
info; beeline 调用Spark的JDBCServer执行Spark SQL,可以实现对海量数据高效的计算和统计分析。JDBCServer包含一个长时运行的Spark任务,在beeline中执行的语句都会交给该任务执行。 开启Kerberos认证的安全集群启动示例: cd $SPARK_HOME/bin
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范: 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述: 规则:编程时强制必须遵守的原则。 建议:编程时必须加以考虑的原则。 说明:对此规则或建议进行的解释。 示例:对此规则或建议从正、反两个方面给出。
通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f) 通过该接口可以打开HDFS上指定文件的输出流,并可通过FSDataInputStream类提供接口进行文件的读出,其中f为文件的完整路径。
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区。 如果大部分查询场景均带有主键或主键子集的等值查询,建议使用bucket索引建表,并将查询字段作为分桶键。
通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f) 通过该接口可以打开HDFS上指定文件的输出流,并可通过FSDataInputStream类提供接口进行文件的读出,其中f为文件的完整路径。
通过该接口可查找指定文件在HDFS集群上块的位置,其中file为文件的完整路径,start和len来标识查找文件的块的范围。 public FSDataInputStream open(Path f) 通过该接口可以打开HDFS上指定文件的输出流,并可通过FSDataInputStream类提供接口进行文件的读出,其中f为文件的完整路径。
API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个: FileSystem:是客户端应用的核心类。常用接口参见表1。
e应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类,
e应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类,
e应用中,不同的键值对应的region不同,这就需要设定特殊的partitioner类分配map的输出结果。 setSortComparatorClass(Class<extends RawComparator> cls) 指定MapReduce作业的map任务的输出结果压缩类,
配置Hive单表动态视图的访问控制权限 操作场景 MRS中安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。 在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行