检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server来访问SparkSQL的数据。JDBCServer在启动的时候，会启动一个sparkSQL的应用程序，而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDB
Flink有两种方式执行应用程序，且执行命令中不需要使用“-t”或“-yt”来传输keystore和truststore文件。 使用Flink的CLI yarn-session.sh命令执行应用程序。如： ./bin/yarn-session.sh 使用Flink run命令执行应用程序。如：
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
OpenTSDB样例程序开发思路 通过典型场景，您可以快速学习和掌握OpenTSDB的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，用于记录和查询城市的气象信息，记录数据如下表表1，表2和表3所示。 表1 原始数据 城市 区域 时间 温度 湿度 Shenzhen Longgang
Scala样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
hbase.examples包的“HIndexExample”类的scanDataByHIndex方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： public void scanDataByHIndex() { LOG.info("Entering
使用MRS集群的ZooKeeper包“zookeeper*.jar”。 使用exclusions排除掉hbase-client里面的zookeeper。 父主题： MRS应用开发开源jar包冲突列表说明
行程序调测样例：python DemoClient.py HBase Python应用程序运行完成后，可直接通过运行结果查看应用程序运行情况。 图1 程序运行成功信息 父主题： 调测HBase应用
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，选择“File
完成下面的操作。 该章节内容适用于MRS 3.3.0及之后版本。 前提条件 已获取样例工程运行所需的配置文件，详细操作请参见准备HBase应用开发和运行环境。 配置样例代码 在开发环境IntelliJ IDEA中，单击“src/springboot/hbase-examples/
用户需要在应用代码中将checkpoint设置为FsStateBackend。例如： env.setStateBackend(new FsStateBackend("hdfs://hacluster/flink/checkpoint/")); 父主题： Flink应用开发常见问题
Encoding”和“Project Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程“hdfs-example-security”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.c
Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
Java样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
conf.addResource(CONF_DIR + "hbase-site.xml"); } 父主题： 开发HBase应用
operator .shuffle() // Stateful mapper with ID .map(new StateFulMapper()) .uid("mapper-id") // ID for the mapper // Stateless printing sink .print();
writer.doAppend(in); System.out.println("success to append."); } finally { //务必要关闭流资源. close(in); } } 父主题： 开发HDFS应用
管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码（传递给SparkContext的JAR或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
