检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系。 自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。
具体请参见配置作业调度任务（批处理作业）。 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务（实时作业）。 提交版本并解锁：作业调度配置完成后，您需要提交版本并解锁，提
作业（数据开发） 在数据开发中，作业由一个或多个节点组成，共同执行以完成对数据的一系列操作。 节点 节点用于定义对数据执行的操作。例如，使用“MRS Spark”节点可以实现在MRS中执行预先定义的Spark作业。 解决方案 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求
企业数据繁杂，无标准，质量低。 企业的IT系统经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统，系统与系统之间的关系、标准数据从哪里获取都无从知晓。
同步目录前，请检查当前空间是否有已发布主题。如果没有已发布主题，同步时系统会报错提示。 同步目录时，最多同步五级主题到数据标准目录（目录层级不能超过5层），五级之后的主题不做处理。同步后的目录数量不能超过配额（一般是500），否则系统将报错提示并取消同步操作。每次同步之前系统会自动检测数据标准的目录是否有空目录（
文件”。 图7 导入码表 表3 导入配置参数说明 参数名 说明 *更新已有表 在导入时是否更新已有的码表信息。在导入时，系统将按编码进行判断将要导入的码表在系统中是否已存在。支持以下选项： 不更新：当码表已存在时，将直接跳过，不更新。 更新：当码表已存在时，更新已有的码表信息。如
是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。 数据血缘的生成和展示，详情请参见节点数据血缘。 父主题： 数据目录
jsonReferenceNode 否 String 记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割，例如：“data.list”。
Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink
table create table drop table into outfile 如果SQL语句过长，会导致请求过长下发失败，继续创建作业系统会报错“错误请求”，此时您需要简化或清空SQL语句，再次尝试继续创建作业。 select id,name from sqoop.user;
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id String 业务ID，ID字符串。 biz_info String 业务对象信息。 status String 实体的发布状态，只读，创建和更新时无需填写。
为数据安全使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后，系统会将动态脱敏策略同步到数据源服务，由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时，系统会直接返回由数据源动态脱敏后的数据，保护敏感数据不被泄露。 数据水印 数据安
作业名称 是 选择作业。 通知类型 是 选择通知类型： 单个作业： 运行异常/失败：作业的状态为“运行异常”或“失败”时，发送通知。 系统支持配置“最大通知次数”和“最小通知间隔（分钟）”，作业运行异常或者失败后，在作业未修复前，可以设置间隔时间发送告警通知。 说明： 最大通
赖场景下重要数据能在预期时间内顺利产出。 基线承诺时间是任务运行成功的最晚时间点。即面向数据应用，任务承诺在该时间点前完成。如果希望为运维人员预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量作为触发报警的预警时间，判断任务能否在预警时间前运行成功。
管理资源 用户可以通过资源管理功能，上传自定义代码或文本文件作为资源，在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，
的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。 下面介绍如何调用创建脚本API创建脚本，API的调用方法请参见如何调用API。 前提条件 您需要规划数据开发服务所在的区域信息，并根据区域确定调用API的Endpoint。 终端节点（Endpoin
查看日志： 报错：Content type 'application/octet-stream' not supported 可能原因 目前系统支持Content-Type参数支持application/json。 Content-Type消息体的类型（格式），默认取值为“application/json”。
说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
