数据治理中心 DATAARTS STUDIO-配置默认项:使用场景

时间：2024-09-14 14:28:44

数据治理中心 DATAARTS STUDIO 配置

使用场景

当某参数被多个作业调用时，可将此参数提取出来作为默认配置项，无需每个作业都配置该参数。

表1 配置项列表
配置项	影响模块	主要用途
配置工作空间模式	作业调度普通模式业务日期模式	系统支持按照作业调度计划时间去运行，同时支持按照业务日期去运行。
配置周期调度	作业调度	当前作业所依赖的作业执行失败后，当前作业的处理策略。依赖的作业停止时，当前作业实例处理策略。
配置多IF策略	作业调度	节点执行依赖多个IF条件的处理策略。
配置软硬锁策略	脚本/作业开发	作业或脚本的抢锁操作依赖于软硬锁处理策略。
脚本变量定义	脚本开发	脚本变量的格式定义。SQL脚本的变量格式有${}和${dlf.}两种。
配置数据导出策略	脚本/作业开发	对SQL执行结果框中的数据配置下载或转储的策略。所有用户都可以所有用户都不能仅工作空间管理员可以
禁用作业节点名称同步变化	作业开发	DataArts Studio 作业中的节点关联脚本或者其他服务的作业时，节点名称不会同步变化。
是否使用简易变量集	作业开发	简易变量集提供了一系列自定义的变量，实现在任务调度时间内参数的动态替换。
忽略失败状态的消息通知策略	运维调度	对于运行状态为忽略失败的作业，支持发送的通知类型。
节点超时是否重试	作业运行	作业节点运行超时导致的失败也会重试。
实例超时是否忽略等待时间	作业运行	实例运行时超时计算将忽略等待时间。
MRS jar包参数拆分规则	作业开发	MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数（使用""括起来的参数）拆分规则。
等待运行实例同步作业版本策略	运维调度	已生成的等待运行的作业实例，此时发布新的作业版本后，实例是否会使用最新的作业版本运行。
Hive SQL及Spark SQL执行方式	脚本/作业开发	SQL语句放置在OBS中：将OBS路径返回给MRS。 SQL语句放置在请求的消息体中：将脚本内容返回给MRS。
MRS资源队列是否必填	作业开发	如果默认项选择“是”，作业算子中的“MRS资源队列”参数为必须项。
补数据优先级设置	运维调度-补数据	设置补数据作业的优先级。当系统资源不充足时，可以优先满足优先级较高的作业的计算资源，数字越大优先级越高，当前只支持对 DLI SQL算子设置优先级。
历史作业实例取消策略	运维调度	配置等待运行作业实例的超期天数。当作业实例等待运行的时间，超过了所配置的期限天数时，作业实例将取消执行。超期天数，最小需配置2天，即至少需要等待2天，才可取消未运行的作业实例。超期天数默认为60天，单位：天。
历史作业实例告警策略	运维调度	配置“通知管理”中通知告警能监控的天数范围。通知管理中配置的告警通知能监控的作业实例天数范围，默认配置为7天，即对7天内满足触发条件的作业实例都能正常上报通知告警，但7天之前的作业实例不会再上报告警。
作业告警通知主题	通知配置	按责任人发送通知时所使用的主题。
作业算子失败重试默认策略	运维调度	设置作业算子失败重试默认策略。
作业每次重试失败即告警	运维调度	当作业配置失败告警的时候，该配置项会触发作业每次重试失败即告警，可作用于全部作业、实时作业和批作业。若选择不支持，则作业达到最大失败重试次数时才触发失败告警。
作业运行自动传递脚本名称	作业开发（作业运行）	开关打开后，系统自动传参将生效：将对当前空间内作业运行时，将Hive SQL脚本set mapreduce.job.name=脚本名称，自动传递至MRS。
作业依赖规则	作业调度	作业能被其他空间作业依赖，需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限，自定义角色需要在有数据开发下的作业查询权限。
脚本执行历史展示	脚本/作业开发	对脚本执行历史结果进行权限管控。仅自己可见：脚本执行历史只显示本用户的执行历史。所有用户可见：脚本执行历史显示所有用户的执行历史。
作业测试运行使用的身份	作业开发（作业测试运行）	配置作业测试运行使用的身份。公共委托或 IAM 账号：使用配置的公共委托或公共IAM账号身份执行作业。个人账号：使用点击测试作业用户的身份执行作业。
Spark SQL作业/脚本默认模板配置	Spark SQL脚本/作业开发	Spark SQL作业/脚本配置运行，是否允许用户设置任意参数。
Hive SQL作业/脚本默认模板配置	Hive SQL脚本/作业开发	Hive SQL作业/脚本配置运行，是否允许用户设置任意参数。
作业/脚本变更管理	作业/脚本的导入和导出	工作空间是否开启作业/脚本变更管理。是：表示作业/脚本变化时记录变更事件，支持根据时间点增量导出和导入所有变化的作业/脚本。否：表示作业/脚本变化时不记录变更事件，只支持选定作业/脚本的导出和导入。
Flink调试OBS桶	Flink SQL实时作业开发	在进行Flink SQL作业调试时，调试OBS桶必须选择并行桶。