检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r包版本。 可以参考MRS样例工程自带的pom.xml文件：获取MRS应用开发样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。 接口类Table，HBase读写操作类，
x.x.jar。 当前版本Spark结构流部分不再支持kafka2.x之前的版本，对于升级场景请继续使用旧的客户端。 父主题： Spark应用开发常见问题
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点（可以是多个） 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load"> <start to="copyData"/>
通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置“job
CollectFemaleInfo <file>" exit(-1) spark = SparkSession \ .builder \ .appName("CollectFemaleInfo") \ .getOrCreate() """ 以下程序主要实现以下几步功能：
Exception { SparkSession spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark.some.config.option", "some-value")
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式，组装对应的SQL发送到HetuServer执行，并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet; import java.sql.Connection;
Flink Hudi样例程序开发思路 本章节适用于MRS 3.3.0及以后版本。 典型场景说明 本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。 开发思路 写Hudi： 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。
examples.FemaleInfoCollection： val spark = SparkSession .builder() .appName("CollectFemaleInfo") .config("spark.some.config.option", "some-value")
park应用（包括正在运行的应用和已经完成的应用），每个应用的信息如下表1。 表1 应用常用信息 参数 描述 id 应用的ID name 应用的Name attempts 应用的尝试，包含了开始时间、结束时间、执行用户、是否完成等信息 获取JobHistory中某个应用的信息： 命令：
.append(";sasl.qop=") .append(sasl_qop) .append(";auth=") .append(auth) .append(";principal=")
添加Library Files 选择需要添加的依赖包，然后单击“OK”。 图3 Choose Library 单击“Apply”加载依赖包，然后单击“OK”完成配置。 父主题： Spark应用开发常见问题
ee); } } messageNo++; } } 父主题： 开发Kafka应用
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名 mapred.reducer.class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录
已准备开发环境及MRS集群相关配置文件，详情请参考准备连接HBase集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程，可根据实际业务场景选择对应的样例，相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码，需参
通常情况下，在发现JDBC connection不可用的时候，可以关闭该connection，重新创建一个connection继续执行。 父主题： Spark应用开发常见问题
L、JDBC/ODBC Server等部分。Streaming应用会多一个Streaming标签页。 History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。 Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
