检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yarn模式下动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类
Flink Join样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar
运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用
Oozie Java接口介绍 Java API主要由org.apache.oozie.client.OozieClient提供。 表1 接口介绍 方法 说明 public String run(Properties conf) 运行Job。 public void start(String
通过JDBC访问Spark SQL样例程序 通过JDBC访问Spark SQL样例程序开发思路 通过JDBC访问Spark SQL样例程序（Java） 通过JDBC访问Spark SQL样例程序（Scala） 父主题： 开发Spark应用
Spark Structured Streaming样例程序 Spark Structured Streaming样例程序开发思路 Spark Structured Streaming样例程序（Java） Spark Structured Streaming样例程序（Scala）
开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 说明： 基于安全考虑，服务端只支持TLS
配置IoTDB应用安全认证 使用Keytab文件进行JDBC安全认证 使用Keytab文件进行Session安全认证 父主题： 准备IoTDB应用开发环境
Flink Join样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入kafka-clients-*.jar，该jar包可在client目录下获取。
Flink Join样例程序（Scala） 本章节适用于MRS 3.3.0及以后版本。 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“fl
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包，获取“venv
Oozie样例程序开发思路 开发流程 工作流配置文件“workflow.xml”（“coordinator.xml”是对工作流进行调度，“bundle.xml”是对一组coordinator进行管理）与“job.properties”。 如果有实现代码，需要开发对应的jar包，例如Java
job.properties 功能描述 流程的属性定义文件，定义了流程运行期间使用的外部参数值对。 参数解释 “job.properties”文件中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
