检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类的p
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Jav
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法: http://hadoop.apache.org/docs/r3.1.1/hadoop-pro
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题: 开发Oozie应用
类。常用接口参见表1。 FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题: Oozie应用开发常见问题
YARN REST API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用: http://hadoop.apache.org/docs/r3
Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scala应
ClickHouse索引设计 一级索引设计 在建表设计时指定主键字段的建议:按查询时最常使用且过滤性最高的字段作为主键。依次按照访问频度从高到低、维度基数从小到大来排列。数据是按照主键排序存储的,查询的时候,通过主键可以快速筛选数据,合理的主键设计,能够大大减少读取的数据量,提升
HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用该类的p
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Jav
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
properties; } 注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见配置Oozie业务运行流程)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS上对应的目录(目录
最大运行应用数。如果是中间队列/父队列,这是所有子队列的集合。 allocation_order_policy String 分配策略,可以使用FIFO原则,PRIORITY原则或者FAIR原则。 max_running_application_per_user int 每个使用者运行应用的最大数量。 max_master_share
HBase JDBC API接口介绍 Phoenix实现了大部分的java.sql接口,SQL语法紧跟ANSI SQL标准。 其支持处理函数可参见: http://phoenix.apache.org/language/functions.html 其支持语法可参见: http://phoenix
HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。 接口类Table,HBase读写操作类,主要封装了HBase表的读写操作的API,部分常见接口参见表表2。
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题: ClickHouse数据库设计
Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scala应