检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量删除对账作业 功能介绍 批量删除对账作业 调用方法 请参见如何调用API。
获取对账作业详情 功能介绍 获取对账作业详情。 调用方法 请参见如何调用API。
修改作业 功能介绍 修改作业接口。 调用方法 请参见如何调用API。
删除作业 功能介绍 本接口用于删除DLF作业,调度中的作业不允许删除,若要删除调度中的作业,请先停止该作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
创建作业 功能介绍 此接口可以创建一个新作业,作业由一个或多个相互依赖的节点构成,支持Hive SQL、CDM Job等节点。DLF有两类型作业:批处理作业和实时作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。 由于作业job1未运行即未发送消息,则job_agent作业中的Subjob节点被跳过,证明IF条件判断生效。
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时,即导入数据到以下数据源时,目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
查询作业执行历史 功能介绍 查询作业执行历史接口。 调用方法 请参见如何调用API。
在历史记录界面单击“日志”,可查看作业执行的日志信息。 删除作业:选择作业操作列的“更多 > 删除”可删除作业。 停止作业:选择作业操作列的“更多 > 停止”可停止作业。 查看作业JSON:选择作业操作列的“更多 > 查看作业JSON”,可查看该作业的JSON定义。
开发实时处理单任务MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 age > 18 and age <= 60 父主题: 配置作业源端参数
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
* 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“等待时间”中配置。
启动作业 功能介绍 启动作业接口。 调用方法 请参见如何调用API。
停止作业 功能介绍 本接口用于停止调度一个作业。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。
配置作业目的端参数 配置PostgreSQL目的端参数 配置Oracle目的端参数 配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时,目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 目的连接名称 选择已配置的MRS Hudi连接。
图1 通知配置 表1 通知参数 参数 是否必选 说明 作业范围 是 选择通知的范围。 单个作业:对单个作业发送通知。 所有作业:对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称 是 选择作业。
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业
数据集成(实时作业) 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程