数据治理中心 DATAARTS STUDIO-开发实时处理单任务MRS Flink Jar作业:配置MRS Flink Jar作业

时间：2024-11-14 09:52:37

配置 MRS Flink Jar作业

表1 配置MRS Flink Jar作业属性参数
参数	是否必选	说明
Flink作业名称	是	输入Flink作业名称。系统支持Flink作业名称按照工作空间-作业名称格式自动填入。作业名称只能包含英文字母、数字、中划线和下划线，且长度为1~64个字符，不能包含中文字符。
MRS集群名	是	选择MRS集群名称。说明：单任务Flink Jar目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。
运行程序参数	否	配置作业运行参数。当选择了MRS集群名后，该参数才显示。该参数为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。注意：系统支持Flink Jar作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动。要使Flink Checkpoin生效，需要配置两个运行参数：用来控制checkpoint间隔 -yD：execution.checkpointing.interval=1000 用来控制保留的checkpoint数量 -yD：state.checkpoints.num-retained=10 查询checkpoint列表时，配置-s参数，鼠标单击参数值输入框，checkpoint列表参数值会自动弹出。说明：若集群为MRS 1.8.7版本或MRS 2.0.1之后版本，需要配置此参数。单击“选择模板”，选择已创建好的脚本模板，系统支持可以引用多个模板。创建模板的详细操作请参见配置模板。 MRS Flink作业的运行程序参数，请参见《MapReduce用户指南》中的运行Flink作业。
Flink作业执行参数	否	配置Flink作业执行参数。 Flink程序执行的关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。
MRS资源队列	否	选择已创建好的MRS资源队列。需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。
Flink作业资源包	是	选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。
重跑策略	否	从上一个检查点重跑重新启动
输入数据路径	否	设置输入数据路径，系统支持从HDFS或OBS的目录路径进行配置。
输出数据路径	否	设置输出数据路径，系统支持从HDFS或OBS的目录路径进行配置。

表2 配置高级参数
参数	是否必选	说明
作业状态轮询时间（秒）	是	设置轮询时间（30~60秒、120秒、180秒、240秒、300秒），每隔x秒查询一次作业是否执行完成。作业运行过程中，根据设置的作业状态轮询时间查询作业运行状态。
最长等待时间	是	设置作业执行的超时时间，如果作业配置了重试，在超时时间内未执行完成，该作业将会再次重试。说明：如果作业一直处于启动中状态，没有成功开始运行，超时后作业会被置为失败。
失败重试	否	节点执行失败后，是否重新执行节点。是：重新执行节点，请配置以下参数。超时重试最大重试次数重试间隔时间（秒）否：默认值，不重新执行节点。说明：如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。当“失败重试”配置为“是”才显示“超时重试”。