检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name 否 String 数据连接名称,只读,创建和更新时无需填写。 l2_id 否 String 主题域ID。 partition_conf 否 String 分区表达式。 dlf_task_id
赖。 传统周期调度依赖的详细信息请参见传统周期调度。 自然周期调度依赖的详细信息请参见自然周期调度。 随着用户业务的演进,自然周期调度中,增加了许多新的调度规则,如离散小时调度,最近依赖调度等。本章节详细讲解这两个调度规则。 离散小时调度 场景一:离散小时依赖月、周、天 ,或者月、周、天依赖离散小时,
如果想将“yyyy-MM-dd hh:mm:ss”格式的日期字符串转换成时间戳的类型。 表达式:DateUtils.getTime(DateUtils.parseDate(value,"yyyy-MM-dd hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串,需要截取年,例如字段
作业名称,即补数据任务需要补哪个作业的名称。 start_date 是 String 补数据的开始日期,格式如"2023-08-21T00:00:00 +08" end_date 是 String 补数据的结束日期,格式如"2023-08-21T23:59:59 +08" parallel 是 int
请联系客服或技术支持人员协助解决。 Cdm.1603 获取topic %s的样值失败。 请联系客服或技术支持人员协助解决。 Cdm.1604 topic %s没有数据。 该topic中无数据,请排查无数据的原因。或者,请改为其他topic后再重试。 Cdm.1605 无效的brokerList。
源表与目标表映射:同步对象为库级同步时,无此配置项。 图3 配置源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址:source
IVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。
Integer 分页返回结果,指定每页最大记录数。默认值:10 start_date 否 Long 查询作业的开始日期 13位时间戳 end_date 否 Long 查询作业的结束日期 13位时间戳 请求参数 表1 请求Header参数 参数名 是否必选 参数类型 说明 workspace
EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题: 数据开发
免费版支持升级到其他付费版本。升级到其他版本或删除当前免费版实例后,您可以再次购买免费版,但不能再勾选“CDM套餐包”,折扣套餐仅在首次购买免费版时赠送。 父主题: 咨询与计费
IVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。
如何选择版本 请您根据您所需的功能和规格,慎重选择DataArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,
如果想将“yyyy-MM-dd hh:mm:ss”格式的日期字符串转换成时间戳的类型。 表达式:DateUtils.getTime(DateUtils.parseDate(value,"yyyy-MM-dd hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串,需要截取年,例如字段
_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 dw_name String 数据连接名称,只读,创建和更新时无需填写。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。
利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 数据集成
业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf String 分区表达式。 dlf_task_id String DLF作业ID。
时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。
删除:在“数据密级”页签,勾选不需要的分级,单击左上角的“删除”。 调整优先级:在“数据密级”页签,单击相应分级后的上移(提高优先级)和下移(降低优先级)。 父主题: 配置数据安全策略(待下线)
选择OBS存储路径时,若仅选择至桶名层级,则备份对象自动存储在以“备份日期”命名的文件夹内。环境变量,资源,脚本和作业分别存储在1_env,2_resources,3_scripts和4_jobs文件夹内。 备份成功后,在以“备份日期”命名的文件夹内,自动生成backup.json文件,该文
业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf String 分区表达式。 dlf_task_id String DLF作业ID。