检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
"taskId": "008aae2e675d3bcb01675d40ab3f0005" } ] } 失败响应 HTTP状态码 400 { "error_code":"DLF.20810", "error_msg":"Task[008aae
因为此表达式只能直接获取当前作业里配置的参数的value，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 而表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 图3 循环执行子作业 配置完成SQL语
在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量，例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss
CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业，配合For
因为此表达式只能直接获取当前作业里配置的参数的value，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 而表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 图3 循环执行子作业 配置完成SQL语
过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。 配置样例： 例如源端文件名带有时间字段“2017-10-15 20:25:26”，这个时刻生成的文件为“/opt/data/file_20171015202526.data”，则在创建作业时，参数配置如下：
作业关联的CDM集群删除后，如何快速修复？ 可能原因 作业关联的CDM集群已删除。 解决方案 CDM集群被删除后，作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业，作业将使用新的同名CDM集群和作业，同时提示用户原CDM集群和作业将被替代。 限制条件： 该功能于1
作业优先级是作业的一个标签属性，不影响作业的实际调度执行的先后顺序。 委托配置 配置委托后，作业执行过程中，以委托的身份与其他服务交互。若该工作空间已配置过委托，参见配置公共委托，则新建的作业默认使用该工作空间级委托。您也可参见配置作业委托，修改为作业级委托。 说明： 作业级委托优先于工作空间级委托。
过用户配置的通配符过滤文件或路径，CDM只迁移满足指定条件的文件或路径。 配置样例： 例如源端文件名带有时间字段“2017-10-15 20:25:26”，这个时刻生成的文件为“/opt/data/file_20171015202526.data”，则在创建作业时，参数配置如下：
是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。
作业委托 当“作业调度身份是否可配置”设置为“是”，该参数可见。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级，此处支持修改。 实例超时时间 配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异
可见。 审批配置 仅当前工作空间的管理员或者拥有DAYU Administrator、Tenant Administrator权限的用户可以进行审批配置。打开审批开关后，可以对作业或者脚本进行审批配置。 图1 配置审批 选择“数据开发 > 审批中心”，单击“审批配置”页签。 开启
或者从“数仓规划”选择一个物理模型进入物理表列表页面。单击上方的“逆向数据库”。 图1 逆向数据库 在“逆向数据库”对话框中配置如下参数。 图2 配置逆向数据库参数 表1 逆向数据库 参数名称 说明 *所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 如果逆向到
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。
议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地保存，考虑到密码的安全性，CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前，需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本，需要用户通过
Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题： 数据集成（CDM作业）
多等的问题。 表3 转储配置 参数 是否必选 说明 数据格式 是 目前支持导出CSV和JSON格式的结果文件。 资源队列 否 选择执行导出操作的DLI队列。当脚本为DLI SQL时，配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时，配置该参数。 none bzip2
查看作业依赖关系图 您可以通过查看作业依赖关系视图，直观查看该作业关联的上下游作业。 前提条件 已经在开发Pipeline作业的作业调度配置中设置了依赖作业，否则视图中仅能展示当前作业节点，无法展示具备依赖关系的上下游作业节点。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts
Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。 逆向数据库导入表到维度模型中 在DataArts Studio控制台首页，选择对应工作空间的“数据架构”模块，进入数据架构页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
