检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建OBS目录：选择需要创建目录的路径，在路径后输入“/目录名”，目录名不允许重名。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
作业，设置Migration启动位点时可以比安全位点时间更早一点（建议30min左右），避免丢数。 例如，查询到的DRS安全位点时间戳为2024-11-29 12:00:00，启动Migration作业时可以将位点配置为2024-11-29 11:30:00。 图5 设置Migration启动位点
单击，前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
隔符来区分各个文件，默认为|。列表文件选择“是”时，不显示该参数。 | QUERY参数 该参数设置为“是”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“否”时，上传到OBS的对象使用的对象名，包含query参数。 否 忽略不存在原路径/文件 如
开始时间(>=) “偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间，包含设置时间点的数据。 2020-12-20 12:00:00 结束时间(<) “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间，不包含设置时间点的数据。 2020-12-20 20:00:00 字段分隔符
数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 jdbc.properties.socketTimeout int 300000 全量阶段连接Mysql的so
页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录顶部，单击，选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”，单击“转移”。 提示转移成功后，单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本，在脚本目录上方的搜
多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
监测文件：监测文件或目录是否存在，如不存在则此节点运行失败，否则运行成功。 如果当前作业需要根据文件或目录是否存在，从而进行不同的处理，则可以根据本节点的执行状态设置IF条件判断，具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。
SQL脚本中开发完成的Hive SQL脚本“hive_sql”。 数据连接：默认选择SQL脚本“hive_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“hive_sql”中设置的数据库，支持修改。 作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。
节点名称，只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号，且长度小于等于128个字符。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录顶部，单击，选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”，单击“转移”。 提示转移成功后，单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业，在作业目录上方的
返回作业实例开始时间大于min_plan_time的作业实例，单位为毫秒ms，默认设置为查询当天0点，最大可支持查询一个月。 max_plan_time 否 Long 返回作业实例开始时间小于max_plan_time的作业实例，单位为毫秒ms，默认设置为当前时间。 limit 否 int 分页返回结果，指定每页最大记录数。
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
SQL脚本中开发完成的DWS SQL脚本“dws_sql”。 数据连接：默认选择SQL脚本“dws_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“dws_sql”中设置的数据库，支持修改。 脚本参数：通过EL表达式获取"yesterday"的值，EL表达式如下： #{Job
将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系，避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业，两个作业之间设置依赖关系，避免同时执行冲突。 父主题： 数据开发
TRUNCATE方式：清空DLI表分区。 INSERT_OVERWRITE方式：使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true，空字符串将作为null。 否 自动建表模式 选择建表模式：一键建表，作业配置过程中一键建表，表生成后继续配置作业。 一键建表 分区
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 无 请求示例 停止作业myJob。
关系型数据库数据源的访问地址，可填写为IP或域名。 “IP或域名”如果手动填写，必须写内网IP，端口必须为对资源组网段放开的端口（如需设置请参见设置安全组规则），否则可能导致网络连接不通。 如果为RDS或GaussDB等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
