检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集任务，其次数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。 数据血缘的生成和展示，详情请参见节点数据血缘。 父主题： 数据目录
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
作业的计划时间和开始时间相差大，是什么原因？ 问题描述 如图所示，在作业实例监控页面查看作业运行记录时，发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间，即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为
注意此方法只能直接获取当前作业里配置的参数值，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 这种情况下建议使用表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 获取参数test的值： #{Job
参数后的生成按钮，弹出新建元数据窗口，如图6所示。在新建元数据窗口内，分别选择MRS中的“edge_rate”边表和“vertex_movie”点表，输出目录可以设置为OBS点表和边表所在目录，然后单击生成，系统会自动在“元数据”参数处回填已生成的元数据Schema所在的OBS目录。
取到正确的数据（当前节点依赖的上游节点成功运行后，DataArts Studio通过节点运行的状态识别到上游表的最新数据已产生，下游节点再去取数）。避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。 在配置依赖关系时，支持配置同周期的依赖和上一周期的依赖。
会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。 用户隔离：控制其他用户是否能够查看、操作该集群中的迁移作业和连接。 开启该功能时，该集群中的迁移作业、连接会被隔离，华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内所有
配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签，用以分类管理作业。 单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 配置作业参数 作业参数为全局参数，可用于作业中的任意节点。操作方法如下： Pipeline模式的批处理作业和实时处理作业，
在配置作业配置调度时，可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度，请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实际的业务数据），在Dummy节点与后续执行任务的节点的连线上，
Studio调度大数据服务时，需要注意的地方需要说明一下。 解决方案 DLI和MRS作为大数据服务，不具备锁管理的能力。因此如果同时对表进行读和写操作时，会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作，建议参考以下方式之一进行串行操作处理： 将读表和写表操作拆分为同一作业的不同节点
实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。
作业开发时，测试运行后不知道如何查看运行日志。 解决方案 方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 无 请求示例 POST /v1/b384b9e9ab9b4ee8994c8633aab
"false"} 表达式的含义是：获取当前的时间点，往后推一天，判断是不是1号，如果是，则表明当前是每个月的最后一天，执行后续节点。如果不是，则跳过后续的业务节点。 图3 条件表达式 如果用户的作业是每个月的最后一天执行，可以按照上面的方法进行配置。 如果用户的作业是每月7号执行，可以按照下面的方法进行配置。
dataArray[0][1]}等类似样式。其中[0][0]表示数组中第一行的第一个值，[0][1]表示第一行的第二个值，以此类推。 作为For Each节点的“子作业参数”取值，表示For Each循环中，始终取“数据集”中二维数组的第二行的第一个值。 #{Loop.dataArray[1][0]}
实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。
评估工作部对评估机构报送的评估结果进行合规性审查。对于合规性审查中发现存在较大问题的评估结果有权驳回。对于评估机构推荐的量化管理级和优化级评估结论，评估工作部需组织专家对评估结果进行评议。 评估工作部对通过审查、复核或评议的，进行为期一周的公示。对公示后无异议的，由评估机构颁发数据管理能力成熟度评估证书。
"false"} 表达式的含义是：获取当前的时间点，往后推一天，判断是不是1号，如果是，则表明当前是每个月的最后一天，执行后续节点。如果不是，则跳过后续的业务节点。 图3 条件表达式 如果用户的作业是每个月的最后一天执行，可以按照上面的方法进行配置。 如果用户的作业是每月7号执行，可以按照下面的方法进行配置。
Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？ 可能原因 Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因，可能是由于连接方式导致的。 解决方案 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS
时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，只需要修改资源引用的位置即可，不需要修改作业配置。关于资源的使用样例请参见开发一个DLI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
