检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据。 否 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into loader线程数 每个loader内部启动的线程数,可以提升写入并发数。
制台界面获取。请在生成后妥善保管。 密钥(SK) 是 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/defa
输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明:
际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' Date类型值是否保留一位精度 Date类型值是否保留一位精度。 否 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。
长度最多为128个字符,并勾选是否在下个调度周期使用新版本,不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中心”开启了提交审批的开关,则作业提交审批后,需要审批人在“审批中心”的“待审批”页签进行审
自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 CUs 是 CUs为DLI计费单位,一个CU是1核4G的资源配置。 管理节点CU数量 是 设置管理单元的CU
REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值(PRIMARY KEY或UNIQUE索引值)的新输入的行。 约束冲突处理配置为"replace into"或"local",使用REPLACE,与现有行中的唯一键值具有相同值的新行将替换现有行。 约束冲突处理配置为"insert
在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从最上方的下拉框中选择一个物理模型;或者从“数仓规划”选择一个物理模型进入物理表列表页面。单击上方的“逆向数据库”。 图1 逆向数据库 在“逆向数据库”对话框中配置如下参数。 图2 配置逆向数据库参数
周期调度依赖策略 传统周期调度依赖和自然周期调度依赖对比 传统周期调度 自然周期调度 自然周期调度之同周期依赖原理 自然周期调度之上一周期依赖原理 父主题: 数据开发进阶实践
成后,将使用DIS Client发送一条字符串消息:job1,作业执行日期。例如2月15日作业job1执行,实际的消息则为:job1,15。 作业调度等其他作业参数无需配置,保持默认即可。 图2 job1作业DIS Client节点配置 在另一个工作空间B,新建数据开发作业job
实体中至少有一条数据与之对应。 target_type String 关系类型,只读。 枚举值: ONE: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中有且只有一条数据与之对应。 ZERO_OR_ONE: 表示每条子(父)逻辑实体数据在父(子)逻辑实体中最多有一条数据与之对应。
的执行(如需了解更多,请参见批作业监控:补数据 )。 图2 补数据监控详情 支持计划时间,开始时间,结束时间的排序,注意三者之间,同一时间只有其中一个当前排序有效。 排序按钮单击顺序为:单击1下为升序,单击2下为降序,单击3下取消排序。 在查看作业等待实例时,单击“操作 > 去除
用户可以通过作业名称、基线名称、责任人、触发时间进行条件筛选快速查询目标事件。 事件类型: 出错:任务运行失败。 变慢:任务本次运行时间相比过去一段时间内的平均运行时间明显变长。 如果一个任务先变慢、再出错,会生成两个事件。 事件状态: 新发现:基线监控的任务产生变慢或者失败。 已恢复:超过基线任务的承诺完成时间,但基线任务最终完成。
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 新建集成作业的方式有如下两种: 方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 在弹
证模式,只能使用STANDALONE模式。 说明: STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED
际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' Date类型值是否保留一位精度 Date类型值是否保留一位精度。 否 按表分区抽取 “按表分区抽取”选择“否”时,显示该参数,表示从Oracle导出数据时,支持从分区表的各个分区并
DM集群名称。 CDM集群迁移的前提是需要在新集群创建同名作业。 CDM作业同时配置两个CDM集群: 如果原集群选择其中一个时,迁移只影响其中一个集群,对另一个集群无影响。 如果原集群选择全部(两个集群)时,会将2个集群都迁移到目标集群中。 搜索:输入作业名称,单击,可筛选需要修改的含有CDM
机等资源。CDM的日志,监控和告警功能,有异常可以及时通知相关人员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行
选择STANDALONE模式时,CDM支持在多个MRS集群的HDFS之间迁移数据。 若在一个CDM中同时连接两个及以上开启Kerberos认证且realm相同的集群,只能使用EMBEDDED运行模式连接其中一个集群,其余需使用STANDALONE。 linkConfig.properties
如果不输入结束时间,则表示定时任务将一直执行,永远不会结束。 schedulerConfig.disposableType 否 枚举 作业运行完是否删除: NONE:作业执行完不删除。 DELETE_AFTER_SUCCEED:仅作业执行成功时删除该作业,适合海量一次性作业。 DELETE: