华为云首页用户手册

MapReduce服务 MRS-创建作业:新建作业

MapReduce服务 MRS-创建作业:新建作业

时间：2023-11-01 16:25:29

MapReduce服务 MRS

新建作业

访问Flink WebUI，请参考访问Flink WebUI。
单击“作业管理”进入作业管理页面。
单击“新建作业”，在新建作业页面可选择新建Flink SQL作业或Flink Jar作业，然后填写作业信息，单击“确定”，创建作业成功并进入作业开发界面。

（可选）如果需要立即进行作业开发，可以在作业开发界面进行作业配置。

新建Flink SQL作业

在作业开发界面进行作业开发。
可以单击上方“语义校验”对输入内容校验，单击“SQL格式化”对SQL语句进行格式化。

作业SQL开发完成后，请参考表1设置基础参数，还可根据需要设置自定义参数，然后单击“保存”。

表1 基础参数
参数名称	参数描述
并行度	并行数量。
算子最大并行度	算子最大的并行度。
JobManager内存（MB）	JobManager的内存。输入值最小为512。
提交队列	作业提交队列。不填默认提交到default。
taskManager	taskManager运行参数。该参数需配置以下内容： slot数量：不填默认是1；内存（MB）：输入值最小为512。
开启CheckPoint	是否开启CheckPoint。开启后，需配置以下内容：时间间隔（ms）：必填；模式：必填；可选项为：EXACTLY_ONCE、AT_LEAST_ONCE；最小间隔（ms）：输入值最小为10；超时时间：输入值最小为10；最大并发量：正整数，且不能超过64个字符；是否清理：是/否；是否开启增量Checkpoint：是/否。
故障恢复策略	作业的故障恢复策略，包含以下三种，详情请参考Flink重启策略。 fixed-delay：需配置“重试次数”和“失败重试间隔（s）”； failure-rate：需配置“最大重试次数”、“时间间隔（min）”和“失败重试间隔（s）”； none：无。

单击左上角“提交”提交作业。

新建Flink Jar作业

单击“选择”，上传本地Jar文件，并参考表2配置参数或添加自定义参数。

表2 参数配置
参数名称	参数描述
本地jar文件	上传jar文件。直接上传本地文件，大小不能超过10M。
Main Class	Main-Class类型。默认：默认根据Jar包文件的Mainfest文件指定类名。指定：手动指定类名。
类名	类名。 “Main Class”选择“指定”时存在该参数。
类参数	类参数，为Main-Class的参数（参数间用空格分隔）。
并行度	并行数量。
JobManager内存（MB）	JobManager的内存。输入值最小为512。
提交队列	作业提交队列。不填默认提交到default。
taskManager	taskManager运行参数。该参数需配置以下内容： slot数量：不填默认是1；内存（MB）：输入值最小为512。

单击“保存”保存配置，单击“提交”提交作业。

返回作业管理页面，可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。
作业创建完成后，可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。
- 若要使用其他用户在节点上读取已提交的作业相关文件，需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色，如参考创建FlinkServer角色勾选“应用查看”。
- 作业状态为“运行中”的作业可以查看作业详情。
- 作业状态为“运行失败”、“运行成功”和“停止”的作业可以进行Checkpoint故障恢复。

上一篇：MapReduce服务 MRS-ClickHouse用户及权限管理:用户权限模型

下一篇：MapReduce服务 MRS-调整高级特性MDE FOR GaussDB:操作场景

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MapReduce服务 MRS-创建作业:新建作业

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题