检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否为一年中的指定的某一天进行调度(比如2023年6月29号)。如果是,则执行后续节点,否则跳过后续节点。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 任务配置为月调度,如下图: 图1 调度周期配置为月 在节点的连线上,单击右键,选择设置条件,配置条件表达式。
day_of_month 否 String 每个月的哪几天可以补数据,如每月1号,3号,表示:1,3。 表5 SupplementDataInstanceTime参数说明 参数名 是否必选 参数类型 说明 days 否 array[string] 支持离散的天。 time_of_day
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考apache commons文档。
脚本内容,最大支持64KB。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启
调度周期配置为月,勾选每月最后一天 通过配置调度周期来执行任务调度。不用编写开发语句,通过勾选需要调度的时间去执行任务。 方法2 方法1 在DataArts Studio中配置一个每天调度执行的作业,然后在作业里面新增一个Dummy节点(空节点,不处理实际的业务数据),在Dummy节点与后
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源目录中,单击,弹出“新建目录”页面,配置如表1所示的参数。 表1
移动作业/作业目录 导出导入作业 批量配置作业 删除作业 解锁作业 查看作业依赖关系图 转移作业责任人 批量解锁 前往监控 添加通知配置 父主题: 作业开发
Dummy 功能 Dummy节点是一个空的节点,不执行任何操作。用于简化节点的连接视图,便于用户理解复杂节点流的连接关系,示例如图1所示。 图1 连接方式对比 参数 用户可参考表1配置Dummy节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启
调度周期配置为月,勾选每月最后一天 通过配置调度周期来执行任务调度。不用编写开发语句,通过勾选需要调度的时间去执行任务。 方法2 方法1 在DataArts Studio中配置一个每天调度执行的作业,然后在作业里面新增一个Dummy节点(空节点,不处理实际的业务数据),在Dummy节点与后
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启
作业开发时,测试运行后如何查看运行日志? 问题描述 作业开发时,测试运行后不知道如何查看运行日志。 解决方案 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
"error_code":"DLF.0815", "error_msg":"Fail to read OBS file." } 状态码 状态码请参见状态码。 父主题: 作业开发API
结束时间。 lastUpdate 是 Long 更新时间。 status 是 String 状态: RUNNING SUCCESSFUL FAILED projectId 否 String 项目编号。 subtasks 否 List<SubTask> 子任务,参考表4。 表4 SubTask参数说明
行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启
脚本内容,最大支持64KB。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚
使用DLF作业开发和作业调度每天定时输出告警统计报表 告警统计报表的脚本(使用DLI SQL脚本开发构建告警报表脚本)和数据迁移的CDM作业(创建CDM作业)创建完成后,我们在数据开发模块中构建一个作业每天自动执行,那么就可以每天输出告警统计报表、每天自动迁移数据。 创建一个批处理作业,作业名称为“job_alarm”。
单击,将脚本的名称设置为“generate_trade_report”。 新建和开发作业。 在数据开发模块控制台的左侧导航栏,进入“数据开发 > 作业开发”,选择“新建作业”,新建一个名称为“job”的空作业。 进入作业开发页面,将DLI SQL节点拖至画布中,单击其图标并配置“节点属性”。