检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark应用安全认证 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）
Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题
创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata
HDFS Java API接口介绍 HDFS完整和详细的接口可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r2.7.2/api/index.html。 HDFS常用接口 HDFS常用的Java类有以下几个。 FileSystem：是客户端应用的核心类。常用接口参见表1。
'cf:cid', '1000' 如果开启了kerberos认证，需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。 开发思路 查询table1表的数据。
Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用
Yarn模式下动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
SELECT语句的时间。 在beeline/thriftserver模式下，executor的用户跟driver是一致的，driver是thriftserver服务的一部分，是由spark用户启动的，因此其用户也是spark用户，且当前无法实现在运行时将beeline端的用户透传到executor，因
准备Maven和JDK 操作场景 开发环境搭建在Windows环境下。 操作步骤 开发环境安装Eclipse程序，安装要求如下。 Eclipse使用3.0及以上版本。 IntelliJ IDEA使用15.0以上版本。 开发环境安装JDK环境，安装要求如下。 JDK使用1.7或者1
Presto应用开发简介 Presto简介 Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下： 多数据源：Presto可以支持Mysql，Hive，JMX等多种Connector。 支持SQL：Presto完全支持ANSI
Presto接口介绍 Presto接口介绍如下： Presto JDBC接口遵循标准的JAVA JDBC驱动标准，详情请参见JDK1.7 API。 Presto JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。
调测OpenTSDB应用 OpenTSDB应用程序支持在安装OpenTSDB客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。 当客
"tags":{"key":"value"}}' https://<tsd_ip>:4242/api/put?sync <tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。 HTTP/1.1 204 No Content Content-Type: application/json; charset=UTF-8
Flink DataStream应用开发思路 假定用户有某个网站网民周末网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现如下功能： DataStream应用程序可以在Windows环境和Linux环境中运行。 实时统计总计网购时间超过2个小时的女性网民信息。
准备Impala应用开发用户 开发用户用于运行样例工程。用户需要有Impala权限，才能运行Impala样例工程。 前提条件 MRS服务集群开启了Kerberos认证时请执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager。 单击“系统设置
若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
创建Doris数据库 本章节介绍创建Doris数据库样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程，将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。
Phoenix命令行操作介绍 Phoenix支持SQL的方式来操作HBase，以下简单介绍使用SQL语句建表/插入数据/查询数据/删表等操作。 前提条件 已安装HBase客户端，例如安装目录为“/opt/client”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用
运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持集群自带的OpenJDK，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的： X86客户端： Oracle
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
