检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase应用安全认证 HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer安全认证 HBase访问多ZooKeeper场景安全认证 父主题: 准备HBase应用开发环境
调测IoTDB应用 在本地Windows环境中调测IoTDB应用 在Linux中调测JDBC或Session应用 在Flink WebUI和Linux中调测Flink应用 在Linux环境中调测Kafka应用 在IoTDBServer节点调测UDF应用 父主题: IoTDB开发指南(普通模式)
调测ClickHouse应用 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0之前版本) 在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) 在Linux环境中调测ClickHouse应用(MRS 3.3.0之前版本)
HBase应用开发流程 本文档主要基于Java API对HBase进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 HBase应用程序开发流程 表1 HBase应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。
Streaming应用运行失败 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出 Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常,提示“Problem
Alluxio应用开发概述 Alluxio应用开发简介 Alluxio常用概念 Alluxio应用开发流程介绍 父主题: Alluxio开发指南
调测ClickHouse应用 在本地Windows环境中调测ClickHouse应用 在Linux环境中调测ClickHouse应用 父主题: ClickHouse开发指南(普通模式)
作业定义平台故障、服务降级,不支持再定义作业,但是不影响已有作业计算。 作业故障有自动重启机制,重启策略可配置。 Flink WebUI应用流程 Flink WebUI应用流程参考如下步骤: 图3 Flink WebUI应用流程 表2 Flink WebUI应用流程说明 阶段
preperties参数说明 参数 说明 user 用于Kerberos认证的用户名,即准备Presto应用开发用户中创建的开发用户的用户名。 KerberosPrincipal 用于认证的名字,即认证准备Presto应用开发用户中创建的开发用户的用户名。 KerberosConfigPath krb5
开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题: MapReduce开发指南(普通模式)
开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题: MapReduce开发指南
Oozie应用开发简介 Oozie简介 Oozie是一个用来管理Hadoop job任务的工作流引擎,Oozie流程基于有向无环图(Directed Acyclical Graph)来定义和描述,支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高,与Hadoop生态系统各组件紧密结合。
Spark应用开发简介 Spark简介 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言(Scala/Java/Python)的应用开发。 适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算(Iterative
快速开发HBase应用 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点: 处理海量数据(TB或PB级别以上)。 具有高吞吐量。 在海量数据中实现高效的随机读取。
RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。 ApplicationMaster(AM) 用户提交的每个应用程序均包含一个AM,主要功能包括: 与RM调度器协商以获取资源(用Container表示)。
<name>mapred.mapper.class</name> <value>org.apache.oozie.example.SampleMapper</value> </property>
--class:Spark应用的类名。 --master:Spark用于所连接的master,如yarn-client,yarn-cluster等。 application-jar:Spark应用的jar包的路径。 application-arguments:提交Spark应用的所需要的参数(可以为空)。
--class:Spark应用的类名。 --master:Spark用于所连接的master,如yarn-client,yarn-cluster等。 application-jar:Spark应用的jar包的路径。 application-arguments:提交Spark应用的所需要的参数(可以为空)。
<name>mapred.mapper.class</name> <value>org.apache.oozie.example.SampleMapper</value> </property>
Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。 Shell 提供shell命令完成HDFS文件系统的基本操作。