检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监测文件:监测文件或目录是否存在,如不存在则此节点运行失败,否则运行成功。 如果当前作业需要根据文件或目录是否存在,从而进行不同的处理,则可以根据本节点的执行状态设置IF条件判断,具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。
默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 X-Language 否 String 默认值:en-us 可选,导入导出接口必填,可选值有:zh-cn、en-us,分别表示中文、英文。 表4 FormData参数
依次被流水线式地执行。 说明: 在企业模式下,实时处理作业类型不支持Pipeline模式,仅支持单任务模式。 单任务:单任务作业可以认为是有且只有一个节点的批处理作业,整个作业即为一个脚本节点。当前支持DLI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS
D。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 X-Auth-Token 否 String
> 作业开发”。 任务配置为天调度,如下图: 图1 调度周期配置为天 在节点的连线上,单击右键,选择设置条件,配置条件表达式。通过表达式来判断,是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
将读表和写表操作拆分为同一作业的不同节点,两个节点通过连线建立先后执行关系,避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业,两个作业之间设置依赖关系,避免同时执行冲突。 父主题: 数据开发
信息。 实时集成作业监控:启动 单击“启动”,弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时,会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”,启动该任务。 实时集成作业监控:停止
返回作业实例开始时间大于min_plan_time的作业实例,单位为毫秒ms,默认设置为查询当天0点,最大可支持查询一个月。 max_plan_time 否 Long 返回作业实例开始时间小于max_plan_time的作业实例,单位为毫秒ms,默认设置为当前时间。 limit 否 int 分页返回结果,指定每页最大记录数。
图3 对比版本 单击“版本对比”后,将会打开新窗口,左右两边分别展示出不同版本的脚本内容。两个版本的不同之处将会被标识出来以便用户查看,右上角有上一个不同和下一个不同两个按钮,可以直接跳到上一个或者下一个修改的地方。 图4 版本对比详情 父主题: 脚本开发
TRUNCATE方式:清空DLI表分区。 INSERT_OVERWRITE方式:使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true,空字符串将作为null。 否 自动建表模式 选择建表模式:一键建表,作业配置过程中一键建表,表生成后继续配置作业。 一键建表 分区
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 停止作业myJob。
连接名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 无 请求示例 删除一个连接。
则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 编
则该字段必选。 Content-Type 否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 id 否 String 编
在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。在
Elasticsearch分页查询,用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id,超时或者scroll查询结束后会清除请求的srcoll_id,通过设置这个超时时间配置,来指定scroll_id超时时间。
进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》的管理转储任务)。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图7 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。 (可选)排序配置:默认情况下,
path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: {