数据治理中心 DATAARTS STUDIO-开发一个MRS Flink作业:操作步骤
操作步骤
- 将作业资源包和数据文件传入OBS桶中。
本例中,WordCount.jar文件上传路径为:lkj_test/WordCount.jar;word.txt 文件上传路径为:lkj_test/input/word.txt。
- 创建一个数据开发模块空作业,作业名称为“job_ MRS _Flink”。
图1 新建作业
- 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。
图2 配置MRS Flink节点属性
参数设置说明:
--Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群 --运行程序参数 -c org.apache.flink.streaming.examples.wordcount.WordCount --Flink作业资源包 wordcount --输入数据路径 obs://dlf-test/lkj_test/input/word.txt --输出数据路径 obs://dlf-test/lkj_test/output.txt
其中:
obs://dlf-test/lkj_test/input/word.txt为wordcount.jar的传入参数路径,可以把需要统计的单词写到里面;
obs://dlf-test/lkj_test/output.txt为输出参数文件的路径(如已存在output.txt文件,会报错)。
- 单击“测试运行”,执行该MRS Flink作业。
- 待测试完成,执行“提交”。
- 在“作业监控”界面,查看作业执行结果。
- 查看OBS桶中返回的记录(没设置返回可跳过)。