检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues
路径。 last_run_time 否 String 最后一次执行时间。 start_time 否 String 开始时间。 end_time 否 String 结束时间。 next_run_time 否 String 下一次执行时间。 duty_person 否 String 责任人。
STATUS_TYPE_PENDING_CHECK:待确认 STATUS_TYPE_PENDING_EXECUTE:待执行 STATUS_TYPE_SYNCHRONOUS_EXECUTE:同步执行 STATUS_TYPE_FORCED_CANCEL:强制取消 STATUS_TYPE_PASSED:已通过
String 路径。 last_run_time String 最后一次执行时间。 start_time String 开始时间。 end_time String 结束时间。 next_run_time String 下一次执行时间。 duty_person String 责任人。 update_type
参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 默认参数值 自定义SQL可设置入参用于执行,SQL入参需要与参数默认值顺序匹配(数据质量单点执行时)。 说明: 当通过数据开发任务调度质量算子的时候,优先使用数据开发中定义的参数值。 计算引擎 队列名称 选择
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
3600 40 数据安全诊断接口 表12 数据安全诊断接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 执行数据安全诊断 执行数据安全诊断。 1800 20 查询不合理的权限配置 查询不合理的权限配置。 3600 40 查询数据权限控制模块诊断结果 查询数据权限控制模块诊断结果。
路径。 last_run_time 否 String 最后一次执行时间。 start_time 否 String 开始时间。 end_time 否 String 结束时间。 next_run_time 否 String 下一次执行时间。 duty_person 否 String 责任人。
tion作业的稳定性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 5
据开发页面。 在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。
SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
STATUS_TYPE_PENDING_CHECK:待确认 STATUS_TYPE_PENDING_EXECUTE:待执行 STATUS_TYPE_SYNCHRONOUS_EXECUTE:同步执行 STATUS_TYPE_FORCED_CANCEL:强制取消 STATUS_TYPE_PASSED:已通过
tion作业的稳定性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 5
access_type String 取数方式(已弃用)。 枚举值: SCRIPT:脚本方式 CONFIGURAITON:配置方式 pagination String 分页方式。 枚举值: DEFAULT:默认分页 CUSTOM:自定义分页 sql String 脚本模式下的SQL语句。
STATUS_TYPE_PENDING_CHECK:待确认 STATUS_TYPE_PENDING_EXECUTE:待执行 STATUS_TYPE_SYNCHRONOUS_EXECUTE:同步执行 STATUS_TYPE_FORCED_CANCEL:强制取消 STATUS_TYPE_PASSED:已通过
Read:读权限 Write:写权限 Excute:执行权限 Hive Hive数据库、数据表、列的权限: Select:查询权限 Update:更新权限 Create:创建权限 Drop:drop操作权限 Alter:alter操作权限 All:所有执行权限 Temporary UDF Admin:临时UDF管理权限
tion作业的稳定性可以考虑设置为false关闭compaction操作,将Hudi Compaction单独拆成Spark作业交由MRS执行,具体可以参考如何配置Hudi Compaction的Spark周期任务?。 compaction.delta_commits int 5
For Each节点主作业编排如图5所示。其中,For Each节点的关键配置如下: 数据集:数据集就是HIVE SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput("select95")},其中select95为前一个节点的名称。 子作业参数
For Each节点主作业编排如图5所示。其中,For Each节点的关键配置如下: 数据集:数据集就是HIVE SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput("select95")},其中select95为前一个节点的名称。 子作业参数
String 自定义项英文名称。 not_null Boolean 是否必填。 optional_values String 可选值。当可选值有多个时,用分号分隔。 type String 自定义项类型。 枚举值: TABLE: 表自定义项 ATTRIBUTE: 属性自定义项 SUBJECT: