检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击作业画布右侧“调度配置”页签,进入调度配置页面。 调度方式选择“周期调度”,调度周期选择“月”,选择时间为“每月最后一天”,如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之后,在每个月的最后一天,所配置的作业会按照调度时间去自动运行。 父主题: 数据开发进阶实践
定义连接超时时间与socket超时时间(单位ms),避免超时导致失败。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以
所选审核信息被驳回。 2 单个审核: 单击操作列“审核”,进入指定待审核信息的审核页面。 根据实际情况选择审核结果(通过或驳回),并输入有效的审核的意见。 单击“确定”,完成审核。 3 :通过该按钮过滤出修改时间段内的待审核信息。 :通过该按钮查询对象和创建人的待审核信息。 :通过该按钮设置待审核表的表列项。
创建作业的用户。由系统生成,用户无需填写。 creation-date Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。 is_incre_job Boolean 是否是增量作业。已废弃。
图1 查看作业调度状态 如果作业有依赖于其他作业,在“运维调度 > 实例监控”界面,查看依赖作业的运行状态。如果作业有自依赖,扩大搜索时间窗口,查看是否当前作业历史实例失败,导致作业在等待运行,而没有生成新作业实例。 父主题: 数据开发
的数据服务专享版集群没有进行开启计费的操作,集群将于2021/08/29 00:00(北京时间)进入冻结期,冻结期内集群将被强制关机,在冻结期结束2021/09/08 00:00(北京时间)之后系统将自动删除未开启计费的集群。 宽限期内数据服务专享版集群的开启计费请参考专享版集群
编码类型,例如:“UTF_8”或“GBK”。 toJobConfig.markerFile 否 String 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定,不指定时默认关闭该功能。 toJobConfig.copyContentType 否 Boolean “toJobConfig.output
数据集成(CDM作业) 数据集成概述 约束与限制 支持的数据源 创建并管理CDM集群 在CDM集群中创建连接 在CDM集群中创建作业 时间宏变量使用解析 优化迁移性能 关键操作指导 使用教程 常见错误码参考
说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例
Hive表trip_data有三个分区字段:骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日,例如一条骑行记录的起始时间为2018/5/11 9:40,那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data进行按时间维度统计汇总时,只需要对局部数据扫描,大大提升性能。
Query参数 参数 是否必选 参数类型 描述 start_time 是 Long 开始时间(13位时间戳)。 end_time 是 Long 结束时间(13位时间戳)。 time_unit 是 String 时间单位。 枚举值: HOUR:小时为单位 DAY:天为单位 top_num 是 Integer
调度日期: 调度任务的生效时间段。 调度周期: 选择调度任务的执行周期,并配置相关参数。 分:选择调度开始时间和结束时间,配置间隔的分钟时长。 小时:选择调度开始时间和结束时间,配置间隔的小时时长。 天:配置每日调度时间。 周:选择星期几启动调度,配置调度具体时间。 月:选择几号启动调度,配置调度具体时间。
调度开始时间,采用ISO 8601时间表示方法,格式为yyyy-MM-dd'T'HH:mm:ssZ,例如2018-10-22T23:59:59+08表示的时间为2018年10月22日23时59分59秒,在正8区,即北京时区。 endTime 否 String 调度结束时间,采用ISO
instance_id 否 String 集群ID编号。 start_time 是 Long 开始时间(13位时间戳)。 end_time 是 Long 结束时间(13位时间戳)。 time_unit 是 String 时间单位。 枚举值: HOUR:小时为单位 DAY:天为单位 top_num 是 Integer
MemberPolicyItem objects 成员列表 create_time Long 创建时间 create_user String 创建用户 update_time Long 修改时间 表6 ResourcePolicyItem 参数 参数类型 描述 resource_id String
”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据
”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法:${variable},其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据
行。 使用调度日历功能后,在作业正常调度和补数据时,作业实例在执行时,系统会检查计划执行时间,是否是工作日。 如果实例的计划执行时间,是日历中的工作日,则实例正常执行。 如果实例的计划执行时间,是日历中的非工作日,则实例空跑。 约束限制 按照日历配置自定义工作日期进行调度,不支持于实时处理作业,只支持批处理作业。
指定文件名迁移 从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输
String DISTRIBUTE BY [HASH(column)|REPLICATION]。 枚举值: HASH: 对指定的列进行Hash,通过映射,把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点(DN)中,即每个数据节点都有完整的表数据 distribute_column