检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更大的吞吐量;连续模式适合毫秒级的数据处理延迟,当前暂时还属于实验特性。 在当前版本中,若需要使用流流Join功能,则output模式只能选择append模式。 图6 微批模式运行过程简图 图7 连续模式运行过程简图 父主题: Spark2x开发指南(安全模式)
调测Oozie应用 在本地Windows环境中调测Oozie应用 查看Oozie应用调测结果 父主题: Oozie开发指南(普通模式)
调测HBase应用 在本地Windows环境中调测HBase应用 在Linux环境中调测HBase应用 父主题: HBase开发指南(安全模式)
调测HDFS应用 在本地Windows环境中调测HDFS程序 在Linux环境中调测HDFS应用 父主题: HDFS开发指南(安全模式)
调测Doris应用 在本地Windows环境中调测Doris应用 在Linux环境中调测Doris应用 父主题: Doris开发指南(安全模式)
Spark2x开发指南(普通模式) Spark应用开发简介 Spark应用开发流程介绍 Spark2x样例工程介绍 准备Spark应用开发环境 开发Spark应用 调测Spark应用 Spark应用开发常见问题
KafkaStreams API样例程序 调测Kafka Low Level KafkaStreams API样例程序 父主题: Kafka开发指南(普通模式)
调测Hive Python样例程序 调测Hive Python3样例程序 调测Hive SpringBoot样例程序 父主题: Hive开发指南(安全模式)
Streams样例程序 调测Kafka Token认证机制样例程序 调测Kafka SpringBoot样例程序 父主题: Kafka开发指南(安全模式)
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、HBase Shell或者Web
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
3、本地提交 ,在本地执行应用程序,一般用来测试 * 命令行方式和远程方式安全和普通模式都支持 * 本地提交仅支持普通模式 * * 用户同时只能选择一种任务提交方式,默认命令行
keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(普通模式)
查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HBase应用 父主题: HBase开发指南(普通模式)
create(Path f, boolean overwrite, String groupId,String locatorId) 用colocation模式,创建一个FSDataOutputStream,从而允许用户在f路径写文件。 “f”为HDFS路径。 overwrite表示如果文件已存在是否允许覆盖。
NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口 支持范围:MRS 3.1.0及之后版本 父主题: HetuEngine开发指南(普通模式)
WebHCat运行用户通过Rest API来执行Hive DDL,提交MapReduce任务,查询MapReduce任务执行结果等操作。 父主题: Hive开发指南(普通模式)
存放用户信息的密钥文件。在安全模式下,应用程序采用此密钥文件进行API方式认证。 Client 客户端直接面向用户,可通过Java API、Shell API、 REST API或者Web UI访问Oozie服务端。 父主题: Oozie开发指南(普通模式)
UI访问服务端,对HBase的表进行读写操作。本文中的HBase客户端特指HBase client的安装包,可参考HBase对外接口介绍。 父主题: HBase开发指南(普通模式)