检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
resultDataBuffer(i) //hbase2 row if (!resultData.isEmpty) { // 查询hbase1Value var hbase1Value = "" val it = iteratorArray(i)
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“ro
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用
配置Oozie作业执行入口 功能描述 流程任务的执行入口，每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口，接着开始SparkPi的调试，比如单步调试、查看调用栈、跟踪变量值等，如图5所示。 图5 调试 父主题： Spark应用开发常见问题
使用Spark执行Hudi样例程序 使用Spark执行Hudi样例程序开发思路 使用Spark执行Hudi样例程序（Java） 使用Spark执行Hudi样例程序（Scala） 使用Spark执行Hudi样例程序（Python） 父主题： 开发Spark应用
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 下面列出producer和consumer主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink
Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的
Flink Kafka样例程序（Scala） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.j
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
servers Broker地址列表。 生产者通过此参数值，创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用
配置Oozie作业执行入口 功能描述 流程任务的执行入口，每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/>
配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称
配置MapReduce应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
schemaFemaleInfo.registerTempTable("FemaleInfoTable"); // 执行SQL查询 Dataset<ROW> femaleTimeInfo = spark.sql("select * from " +
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
