检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。 它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：
您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 MRS应用开发流程说明 通常MRS应用开发流程如下图所示，各组件应用的开发编译操作可参考组件开发指南对应章节。 图1 MRS应用开发流程 表1 MRS应用开发流程说明 阶段 说明 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用IntelliJ
申请一台Windows的ECS访问MRS集群操作OpenTSDB。安装开发环境后运行样例代码。申请ECS访问MRS集群的步骤如下： 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”、“集群控制台地址”，以及Master节点的“默认安全组”。 在弹
Kudu应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Kudu应用程序开发流程 表1 Kudu应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Kudu的基本概念。 Kudu应用开发常用概念 准备开发和运行环境 Kudu的应用程序支持
Storm应用开发流程 本文档主要基于Java API进行Storm拓扑的开发。 开发流程中各阶段的说明如图1和表1所示： 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Storm的基本概念，了解场景需求，拓扑等。
Hive应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Hive应用程序开发流程 表1 Hive应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前，需首先准备开发环境，推荐使用Java语言进行开发，使用IntelliJ IDEA工具，同时完成JDK、Maven等初始配置。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applicatio
在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 如需手动扩缩容，修改配置界面中“Worker容器资源配置”中的“数量”的值，单
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、task执
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
IoTDB应用开发建议 推荐使用原生接口Session，避免SQL拼接 关于IoTDB Session接口样例，安全模式集群可参考IoTDB Session程序章节，普通模式集群可参考IoTDB Session程序章节。 根据业务情况推荐优先使用性能高的写入接口 写入接口性能由高到低排序如下：
HBase应用开发规范 HBase应用开发规则 HBase应用开发建议
HDFS应用开发规范 HDFS应用开发规则 HDFS应用开发建议
Hive应用开发规范 Hive应用开发规则 Hive应用开发建议
Kafka应用开发规范 Kafka应用开发规则 Kafka应用开发建议
Spark应用开发规范 Spark应用开发规则 Spark应用开发建议
Impala应用开发规范 Impala应用开发规则 Impala应用开发建议
在“计算实例”页签，单击对应计算实例所属的租户名的“配置”，查看该计算实例的资源配置是否合理（默认资源配置为最小化配置，可以根据实际需求调节）。 是，执行8。 否，执行5。 返回计算实例列表，单击“停止实例”，根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。 单击“配置”，根据
Oozie应用开发步骤 业务分析。 可以使用客户端样例目录中Mapreduce程序对日志目录的数据进行分析、处理。 将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。
Oozie应用开发概述 Oozie应用开发应用开发简介 Oozie应用开发常用概念 Oozie应用开发流程 Oozie应用开发样例工程介绍 父主题： Oozie开发指南（安全模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
