检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DataArts Studio数据开发，用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 数据管理 数据管理 脚本开发 脚本开发 作业开发 作业开发 运维调度 运维调度 步骤7：数据质量监控 对业务指标和数据指标进行监控。您可从完整性、有效性
的待审批任务。您可以通过“查看详情”操作，查看当前任务相比上一版本的修改点。 如有问题，可以通过“撤销”驳回发布任务。由开发者修改后重新提交发布任务，再度进行审批。 确认发布任务没有问题后，请通过“发布”操作，将任务审批通过。 图1 审批发布 成功发布之后，您可以查看任务的发布状
的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 父主题： 节点参考
例如间隔为5分钟时，20:00开始调度，20:03手动执行，则下次调度时间为20:08分。 用户同步任务新建完成后，并不会直接运行。需要您手动同步或调度任务，任务同步成功后才能生效，详见同步或调度任务。 相关操作 同步或调度任务：在用户同步任务页面，单击对应任务操作栏中的“同步”或“更多 > 启动调度”，同
用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档
用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档
例阈值，来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服
的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 父主题： 节点参考
置好互斥组以后，本次设置将在作业的下一个调度周期生效。 互斥组配置完成后，在同一个互斥组内的作业，只能有一个作业是运行中，其他作业生成实例后则处于等待运行中。当运行中的作业运行完（包括执行成功、执行失败、取消）或者停止调度后（不包括暂停调度），其他作业需要重新抢锁才能运行，系统会随机选择等待运行中的作业继续执行。
10小时调度一次，当天额外进行了过去10天的补数据，则该作业当天调度次数为2*3+2*3*10=66，后续每天调度次数为2*3=6。 另外，当作业节点调度的已使用次数+运行中次数+本日将运行次数之和大于此版本规格，执行调度批处理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。
避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后，请尽快修改Migration任务中的连接信息，避免任务连接失败后的自动重试导致数据库账号被锁定，影响使用。 不同链路、数据库、权限要求不同，可参考以下链接，选择对应链路查看使用须知：使用教程。 连接准备 准备DataArts
使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。 分批配置迁移任务，保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。 准备数据 项目 数据项 说明 取值示例 DES盒子 挂载地址
用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档
查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。 手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别规则在静态脱敏任务中生效。 如果在敏感数据发现任务中勾选了“手动同步数据识别结果
自动匹配创建作业时配置的作业责任人，此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”，该参数可见。 执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。 说明： 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。
技术资产中的库表列等信息来自于元数据采集任务，是否更新和自动删除取决于元数据采集任务的参数配置，详情请参见配置元数据采集任务。 技术资产中的数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。需要注意的是，数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。
首次进入“资产报告”页面，需要配置资产报告任务。单击右上方的配置图标，弹出配置窗口。 依次选择生效时间、调度周期和调度具体时间，系统将按配置的时间调度运行资产报告任务，更新资产报告内容。 图2 配置资产报告任务 系统调度运行资产报告任务后，重新进入“资产报告”页面，可查看逻辑实体
用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证任务运行，即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本，请参见新建脚本。 已新建主机连接
单击“下一步”，选择调度方式，支持单次调度和周期调度两种方式，周期调度的相关参数配置请参见表3。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期，并配置相关参数。 分钟 小时 天 周 间隔时间 调度任务的间隔时间。 调度时间 设置调度任务的起始时间和结束时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
