检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线作业概述 离线处理集成作业作为数据开发的一个作业类型，支持跨集群下发数据迁移作业，实现常用的批作业迁移能力。 相比于传统的依靠CDM集群进行生命周期管理CDM迁移作业，离线处理集成作业依靠数据开发组件的生命周期管理，由数据开发进行集成作业的统一调度和CDM集群资源的统一支配，作业运行可靠性更高、使用体验更佳。
连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 将存放在OBS桶的连接文件导入到数据开发模块中，一次可以导入一个或多个连接。执行本接口之前，需要将连接文件放到OBS的桶中。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
单击“提交”。数据质量作业配置完成。 配置数据开发作业 登录DataArts Studio控制台。选择实例，单击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 创建一个批处理的Pipeline作业并进入作业配置页面。
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启
false表示关闭细粒度认证。 fgac_type 否 String 细粒度认证类型，开启细粒度认证时才生效。"0"表示开发态细粒度认证，支持数据开发细粒度脚本运行、作业测试运行，"1"表示调度态细粒度认证，支持数据开发细粒度脚本运行、作业测试运行、作业执行调度。 响应参数 状态码： 200 表5 响应Body参数
数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 单击脚本目录中的，选择“显示复选框”。 图1 显示脚本复选框 勾选需要解锁的脚本，单击 > 批量解锁。弹出“解锁成功”提示。 图2 批量解锁 父主题： （可选）管理脚本
产管理、数据开发服务等，帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控，提供数据架构定义及可视化的模型设计，智能化的帮助用户生成数据处理代码，数据处理全流程质量监控，异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启
数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 单击作业目录中的，选择“显示复选框”。 勾选需要解锁的作业，单击 > 批量解锁。弹出“解锁成功”提示。 图1 批量解锁 父主题： （可选）管理作业
retry_location 否 String 作业重跑的位置。error_node （从错误节点开始重跑） first_node （从第一个节点开始重跑）、 specified_node (从指定的节点开始) ，默认从重跑位置默认节点开始。 job_param_version 否
Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本目录中，右键单击目录名称，选择“新建目录”。 在弹出的“新建目录”页面，配置如表1所示的参数。
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启
传统周期调度依赖和自然周期调度依赖对比 数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。 传统周期调度依赖，只支持同周期或者大周期依赖于小周期，不支持小周期依赖于大周期。详细说明如下： 同周期依赖，依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖，依赖时间段范围为上一个周期时间段内。
Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中选择需要的作业，右键单击作业名称，选择“前往监控”，进入作业监控界面。 图1 前往监控
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启
csv数据迁移到DWS的ratings_item表中。待作业运行成功后，数据迁移结束。 图12 数据迁移结果 数据迁移结束后，您也可以跳转到数据开发页面，新建一个DWS SQL脚本，并分别执行以下SQL语句检查DWS中的movies_item和ratings_item表数据是否符合预期。 查看movies_item表数据：
“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击作业名称，选择“删除”。 图1 删除作业 在弹出的“删除作业”页面，单击“确定”，删除作业。 批量删除 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。
进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录顶部，单击，选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”，单击“转移”。 提示转移成功后，单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业，在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
