检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将字符串类型的作业启动时间转换为秒格式。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 directory/ 文件格式 传输数据时使用的格式。
说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
schedule_status 否 String 调度状态:UNKNOWN表示未知,NOT_START表示未启动,SCHEDULING表示调度中,FINISH_SUCCESS表示正常结束,KILL表示手动停止,RUNNING_EXCEPTION表示运行失败。
URI格式为“hdfs://NameNode IP:端口”,若CDH没有启动Kerberos认证则“认证类型”选择“SIMPLE”。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。
启动作业调度 元数据采集完成后,系统基于最新的作业调度实例产生相关的数据血缘关系。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
启动作业调度 元数据采集完成后,系统基于最新的作业调度实例产生相关的数据血缘关系。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
图5 Subjob节点被跳过 启动调度job_agent。然后测试运行工作空间A作业job1,待job1实例运行成功后,前往工作空间B实例监控中查看作业运行结果是否符合预期。 job_agent被触发运行。
MRS集群为非安全集群、且未限制命令白名单时,在Hive SQL执行过程中,添加application name信息后,则可以方便的根据脚本名称与执行时间在MRS的Yarn管理界面中根据job name找到对应任务。
实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
如果该批处理作业设置有依赖的作业,执行调度该作业时可以设置为只启动当前作业或同时启动依赖的作业。如何配置依赖作业,请参见配置作业调度任务(批处理作业)。 如果该作业在基线任务链路上,暂停调度/停止调度时,系统会自动给出基线关联的弹窗提示。
实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
Elasticsearch/云搜索服务(CSS) 请参见Elasticsearch/云搜索服务(CSS)数据库迁移时支持的数据类型。
对账作业创建完成后,可以对该对账作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个对账作业 系统支持运行单个对账作业。 选择“数据质量监控 > 对账作业”,选择要运行的对账作业。 单击“操作”列的“运行”。
流处理:指Flink作业为流处理运行模式,节点执行时只要作业启动成功即执行成功。后续每次周期运行时检查任务是否处于运行状态,如果处于运行状态,则认为节点执行成功。 注意,此处不会为Flink增加对应的batch或streaming模式参数,您还需要为Flink作业指定对应参数。
当作业节点调度的已使用次数+运行中次数+本日将运行次数之和大于此版本规格,执行调度批处理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。 背景信息 不同版本的DataArts Studio实例的规格请参见版本规格说明。
提交作业版本后,单击画布上方的“启动”,运行作业。运行完以后,前往实时作业监控查看作业运行结果。 父主题: 作业开发
elasticsearch-connector:Elasticsearch/云搜索服务连接。dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接。
在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行可开启。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。
start_job_status 否 integer 作业启动状态。 2:成功 3:失败 submit_timestamp 否 Long 提交时间戳,13位时间戳。 submit_user_id 否 String 提交人id。