检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
技术资产中的库表列等信息来自于元数据采集任务，是否更新和自动删除取决于元数据采集任务的参数配置，详情请参见配置元数据采集任务。 技术资产中的数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。需要注意的是，数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行，仅将作业停止调度不会触发血缘关系的删除。
DataArts Studio数据开发作业告警最佳实践 DataArts Studio数据开发作为大数据调度平台，如果每日频繁调度大量的大数据作业，可能会遇到如下痛点： 作业失败无感知：大数据的离线作业大部分会在凌晨执行，当作业失败时，用户无法及时得知并处理。 作业补数窗口期较短
交”。 单次调度会产生手动任务的实例，手动任务的特点是没有调度依赖，只需要手动触发即可。 周期调度会产生周期实例，周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度起来的实例快照。 周期任务每调度一次，便生成一个实例工作流。您可以对已调度起的实例任务进行日常的运维
配置工作空间模式 作业调度 普通模式 业务日期模式 系统支持按照作业调度计划时间去运行，同时支持按照业务日期去运行。 配置周期调度 作业调度 当前作业所依赖的作业执行失败后，当前作业的处理策略。 依赖的作业停止时，当前作业实例处理策略。 配置多IF策略 作业调度 节点执行依赖多个IF条件的处理策略。
查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。 手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别规则在静态脱敏任务中生效。 如果在敏感数据发现任务中勾选了“手动同步数据识别结果
本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时，Agent会访问ECS主机，如果Shell、Python脚本的调度频率很高，ECS主机会将Agent的内
其中计划时间是作业预期开始执行的时间，即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为在数据开发中，单个作业最多允许5个实例并行执行，如果作业实际执行时间大于作业配置的调度周期，会导致后面批次的作业实例堆积，从而出现上述问题。 解决方案
数据开发进阶实践 周期调度依赖策略 离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
按如下配置，新建采集任务transport_all。配置采集任务后，单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式，配置完成后单击“提交”，完成采集任务的创建。 图4 调度方式 在采集任务列表中，找到刚才新建的采集任务，单击其所在行的“启动调度”按钮，启动周期采集任务。
单击“下一步”，选择调度方式，支持单次调度和周期调度两种方式，周期调度的相关参数配置请参见表3。 表3 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期，并配置相关参数。 分钟 小时 天 周 间隔时间 调度任务的间隔时间。 调度时间 设置调度任务的起始时间和结束时间。
作业配置了每日调度，但是实例没有作业运行调度记录？ 查看作业日志，但是日志中没有内容？ 创建了2个作业，但是为什么无法建立依赖关系？ DataArts Studio执行调度时，报错提示“作业没有可以提交的版本”怎么办？ DataArts Studio执行调度时，报错提示“作业
辑表达式定义规则。 业务场景管理 业务场景可以认为是业务指标质量作业，将创建的规则组进行调度运行。 运维管理 运维管理用于查看业务场景运行状态，处理运维问题。其中我的订阅中显示了所有订阅的任务运行情况。 父主题： 业务指标监控（待下线）
DataArts Studio是否支持修改时区，如果不支持应该如何处理。 解决方案 DataArts Studio实例暂不支持修改时区。 数据开发作业调度时可通过EL表达式适配当地时间，例如： #{DateUtil.format(DateUtil.addHours(Job.planTime,-7)
的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建
CDM是否支持参数或者变量？ 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 数据集成
该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移
将Date类型时间按指定pattern格式为字符串。 将作业调度计划的时间，转换为毫秒格式。 #{DateUtil.format(Job.planTime,"yyyy-MM-dd HH:mm:ss:SSS")} 将作业调度计划减一天的时间，转换为周格式。 #{DateUtil.format(DateUtil
作业编排完成后，单击，测试运行作业。 如果运行成功，单击画布空白处，在右侧的“调度配置”页面，配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/01/01至2021/01/25，每天2点调度一次作业。 最后我们需要提交版本，执行调度作业，实现作业每天自动运行。 父主题： 使用教程
解决方案 方式1：用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶，并将操作权限赋予调度用户。 OBS路径仅支持OBS桶，不支持并行文件系统。 方式2：在IAM用户权限中增加全局OBS管理员权限。 父主题： 数据开发
1元收费。 作业节点调度次数/天增量包 作业节点调度次数/天增量包提供对应的规格资源。 不同版本的DataArts Studio实例，提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的，其中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
