检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注册一个全类名为“com.xxx.bigdata.iotdb.UDTFExample”的UDF可以按如下流程进行: 将项目打成Jar包,如果使用Maven管理项目,可参考以下章节的“构建Jar包”部分: 开启Kerberos认证的集群请参考注册UDF。
华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。
当前集群为MRS 2.1.0版本,请如需使用Maven库中的提供的样例程序,请获取spark-streaming-kafka-0-10_2.11-2.3.2-mrs-2.1.jar包。 父主题: 使用Spark
样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成jar包,在工程目录target目录下获取,比如:kafka-examples-1.6.0.jar。
页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。 页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。
mvn -s "{maven_setting_path}" clean package 上述打包命令中的{maven_setting_path}为本地Maven的setting.xml文件路径。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。
mvn -s "{maven_setting_path}" clean package 上述打包命令中的{maven_setting_path}为本地Maven的setting.xml文件路径。
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。
图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下步骤: 右键选择单击样例代码项目中的pom文件,选择“Add as Maven Project”,添加Maven项目 图2 添加Maven项目 通过Maven生成Jar包。
页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。 页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。
操作步骤 在IntelliJ IDEA中,单击IDEA右边Maven窗口的“Reload All Maven Projects”,进行Maven项目依赖import。 图1 Reload projects 编译运行程序。
操作步骤 在IntelliJ IDEA中,单击IDEA右边Maven窗口的“Reload All Maven Projects”,进行Maven项目依赖import。 图1 Reload projects 编译运行程序。
图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下操作: 右键选择单击样例代码项目中的pom文件,选择“Add as Maven Project”,添加Maven项目。 图2 添加Maven项目 通过Maven生成Jar包。
配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。
选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。
选择“Maven > 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。
方法一 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。
图9 样例项目已作为maven项目导入 图10 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图11 样例项目作为maven项目在IDEA中显示 设置项目使用的Maven版本。