检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行Job。 public void start(String
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用
Spark Structured Streaming样例程序 Spark Structured Streaming样例程序开发思路 Spark Structured Streaming样例程序（Java） Spark Structured Streaming样例程序（Scala）
配置IoTDB应用安全认证 使用Keytab文件进行JDBC安全认证 使用Keytab文件进行Session安全认证 父主题： 准备IoTDB应用开发环境
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”（“coordinator.xml”是对工作流进行调度，“bundle.xml”是对一组coordinator进行管理）与“job.properties”。 如果有实现代码，需要开发对应的jar包，例如Java
job.properties 功能描述 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
可能原因 抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其他分桶。最终导致部分Task过重，运行很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。 回答 这是因
Flink DataStream样例程序 Flink DataStream样例程序开发思路 Flink DataStream样例程序（Java） Flink DataStream样例程序（Scala） 父主题： 开发Flink应用
Flink Join样例程序 Flink Join样例程序开发思路 Flink Join样例程序（Java） 父主题： 开发Flink应用
HBase应用开发简介 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。
Kafka Consumer API使用样例 功能介绍 下面代码片段在com.huawei.bigdata.kafka.example.Consumer类中，用于消费订阅的Topic消息。 代码样例 Consumer线程的dowork方法逻辑，该方法是run方法的重写。 样例代码
Flink应用开发常用概念 DataStream 数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过socket、Kafka和文件等形式导入，在Flink系统处理后，通过Socket、Kafka和文件等输出到外部系统，这是Flink的核心概念。 Data
初始化HDFS 功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件，并进行kerberos安全认证。 认证通过后，实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件，请提前准备。 配置文件介绍
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
