检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Directory for JDK 完成JDK选择后,单击“OK”完成配置。 图6 完成JDK配置 将工程中的conf目录添加到资源路径。在Intellij IDEA的菜单栏中依次选择“File > Project Structure”。在弹出的会话框中选中当前工程,并选择“Resources
Directory for JDK 完成JDK选择后,单击“OK”完成配置。 图6 完成JDK配置 将工程中的conf目录添加到资源路径。在Intellij IDEA的菜单栏中依次选择“File > Project Structure”。在弹出的会话框中选中当前工程,并选择“Resources
以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-normal”。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ
以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-security”。 将在准备MRS应用开发用户时得到的user.keytab和krb5
reduceByKey(_+_).collect() spark-submit 用于提交Spark应用到Spark集群中运行,返回运行结果。需要指定class、master、jar包以及入参。 示例:执行jar包中的GroupByTest例子,入参为4个,指定集群运行模式是local单核运行。 ./bin/spark-submit
--master yarn spark-submit 用于提交Spark应用到Spark集群中运行,返回运行结果。需要指定class、master、jar包以及入参。 示例:执行jar包中的GroupByTest例子,入参为4个,指定集群运行模式是local单核运行。 ./bin/spark-submit
--master yarn spark-submit 用于提交Spark应用到Spark集群中运行,返回运行结果。需要指定class、master、jar包以及入参。 示例:执行jar包中的GroupByTest例子,入参为4个,指定集群运行模式是local单核运行。 ./bin/spark-submit
Notebook对接MRS Spark Jupyter对接方案概述 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。 具体流程如下:
获取IoTDB开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程,可根据实际业务场景选择对应的样例,相关样例介绍请参见IoTDB样例工程介绍。 若需
以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-normal”。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ
reduceByKey(_+_).collect() spark-submit 用于提交Spark应用到Spark集群中运行,返回运行结果。需要指定class、master、jar包以及入参。 示例:执行jar包中的GroupByTest例子,入参为4个,指定集群运行模式是local单核运行。 ./bin/spark-submit
Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部组件的jar包(例如flink-connector-kafka*.jar),若应用开发中需要请手动复制相关jar包到lib目录中。 针对Flink提供的几个样例工程,其对应的运行依赖包如下:
通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择“File
参考获取MRS应用开发样例工程,获取样例代码解压目录中“spark-examples”目录下的“sparknormal-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ
下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples\hetu-examples-security”。 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择“File
Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部组件的jar包(例如flink-connector-kafka*.jar),若应用开发中需要请手动复制相关jar包到lib目录中。 针对Flink提供的几个样例工程,其对应的运行依赖包如下:
码解压目录中“src/hbase-examples”目录下的样例工程文件夹“hbase-example”。 将在准备MRS应用开发用户时获取的keytab认证文件“user.keytab”与“krb5.conf”,以及准备运行环境时获取的集群配置文件都放置到样例工程中的“hbas
流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具
参考获取MRS应用开发样例工程,获取样例代码解压目录中“spark-examples”目录下的“sparksecurity-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ
Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部组件的jar包(例如flink-connector-kafka*.jar),若应用开发中需要请手动复制相关jar包到lib目录中。 针对Flink提供的几个样例工程,其对应的运行依赖包如下: