检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询任务完成情况 功能介绍 查询任务完成情况。包括今天,昨天以及近7天的平均任务完成情况。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/monitor/task-completion-data
Job内嵌对象 Job为作业对象,提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。 planTime java.util.Date 作业调度计划时间,即周期调度配置的时间,例如每天凌晨1:01调度作业。
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
原子指标的计算逻辑修改生效后,会直接更新应用于相关的衍生指标。 原子指标删除英文名,需要校验下游是否有衍生指标使用,如果有,则无法删除。 目前原子指标在被下游使用的情况下,支持变更英文名。 原子指标的更改会影响下游衍生指标。 约束与限制 单工作空间允许创建的原子指标个数最多5000个。 前提条件 您已创建并发布事实表
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
批量导出作业 功能介绍 此接口可以批量导出DLF作业定义,包括作业依赖的脚本和CDM作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/batch-export 参数说明 表1
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
开发脚本 开发SQL脚本 开发Shell脚本 开发Python脚本 父主题: 脚本开发
match_type 是 String 匹配类型, CONTENT,COLUMN,COMMIT,TABLE_NAME,TABLE_COMMENT,DATABASE_NAME expression 是 String expression builtin_rule_id 否 String 内置规则ID
IF条件判断教程 当您在数据开发模块进行作业开发编排时,想要实现通过设置条件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的
csv 否 目录层次 自定义目录层次选择是时显示该参数。 指定文件的目录层次,支持时间宏(时间格式为yyyy/MM/dd)。源端为关系型数据库数据源时,目录层次为源端表名+自定义目录,其他场景下为自定义目录。 ${dateformat(yyyy/MM/dd, -1, DAY)} 文件名前缀
录”模块,进入数据目录页面。 选择“数据权限 > 数据表权限”,在“我的权限”页签中单击“申请”。 输入使用场景说明,选择对应数据连接、数据库和数据表。 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
名称为必填项,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符,且输入不能为空。 描述 对策略的描述信息,长度限制在256个字符以内。 数据库 必填项,此项表示需要进行权限控制的数据库,支持模糊搜索。 数据表 必填项,此项表示需要进行权限控制的数据表,支持模糊搜索。 列 必填项,此项表示需要进行权限控制的列,支持模糊搜索。
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
通过API工具调用IAM认证方式的API IAM认证方式的API调用前,需要调用IAM服务的获取用户Token接口获取Token,然后通过Token进行安全认证。 本章节以Postman工具为例,为您介绍如何使用API工具调用IAM认证方式的API,主要包含如下几步: 获取API
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。
如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig
新建复合指标 复合指标是由一个或多个衍生指标叠加计算而成,其中的维度、限定均继承于衍生指标。注意,不能脱离衍生指标、维度和限定的范围,去产生新的维度和限定。 约束与限制 单工作空间允许创建的复合指标个数最多5000个。 前提条件 您已新建衍生指标,并且衍生指标已通过审核,具体操作请参见新建衍生指标。