检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。 您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息，以及进行如表1所示的操作。 图1
批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。 您可以在“作业监控 > 批作业监控”页面查看批处理作业的调度状态、调度周期、调
对于配置了周期调度或事件触发调度的批处理作业，触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点，可以通过此接口查询节点所关联的子作业的实例列表，参数jobName格式为[实时作业名称]_[节点名称]。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。
Client或Kafka Client发送消息触发中继作业job_agent；job_agent配置事件触发调度，根据DIS Client或Kafka Client发送的消息触发运行后，判断消息是否符合预期，符合则触发job2作业运行，否则不再触发job2运行。 图1 调度方案 前提条件
新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作业：基于新建的作业，进行作业开发，您可以进行编排、配置节点。具体请参见开发Pipeline作业。 调度作业：配置作业调度任务。具体请参见调度作业。
数据开发中的事件驱动是否支持线下kafka？ 问题描述 用户在配置事件驱动调度时，事件触发类型选择kafka时，不能选到线下kafka。 解决方案 数据开发中的事件驱动不支持线下kafka，仅支持MRS kafka。 父主题： 数据开发
当“作业调度身份是否可配置”设置为“是”，该参数可见。 执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。 说明： 配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 作业委托 当“作业调度身份是否可配置”设置为“是”，该参数可见。
、补数据、重跑等场景。 说明： 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级用户组，则优先级高于节点的任务组。 表3 “事件驱动调度”的参数配置 参数 说明 触发事件类型 选择触发作业运行的事件类型。 “DIS” “KAFKA”
服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂”、“DLF”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块，用户可进行数据管理、
Studio控制台首页，选择实例，单击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数
ell、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行。
在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。 实时处理作业可以配置节点级别的调度任务，即每一个节点可以独立调度，具体请参见配置节点调度任务（实时作业）。 模式 Pipeline：即传统的流水线式作业，作业通过画布编辑，可以拖入一个或多个节点组成作业，各节点依次被流水线式地执行。
每隔15分钟运行一次，A依赖上一小时的45分B作业实例。 分钟依赖小时 规则：分钟级作业依赖上一个自然小时周期的作业执行完成后，再执行。 例如：A依赖B，A分钟级作业依赖B小时级作业，A每10分钟触发，B是每小时第18分钟执行，那么作业A需要依赖前一小时18分的B作业实例。 分钟依赖天
在“告警条件”输入框中，请输入告警条件表达式，在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。 每个规则的告警参数会在“告警参数”中以按钮形式列出。单
Parquet：DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV：DLI支持读取不压缩、gzip压缩的csv数据。 ORC：DLI支持读取不压缩、snappy压缩的orc数据。 JSON：DLI支持读取不压缩、gzip压缩的json数据。 Carbon：DLI支持读取不压缩的carbon数据。
分类类型选择“内置”，呈现此参数。如果选择“内置”，用户可以根据实际需要选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明： 定义数据分类规则，名称必须唯一。
单击“下一步”，配置调度方式，如图11所示。 图11 调度配置 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”， 完成对账作业的创建。 执行对账作业并查看结果分析 在数据
新建数据服务审核人 在发布API时，会触发审核，审核机制如下： 当发布人不具备审核人权限时，发布API时需要提交给审核人审核。 当发布人具备审核人权限时，可无需审批直接发布API。 因此，如果不具备审核人权限的用户需要发布API时，请先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。
在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则：若勾选此项，新添加的规则会覆盖旧规则。 匹配字段：此参数默认应用于所有字段，依据用户输入的正则表达式对字段进行过滤。 Where条件：可依据用户输入的where条件对字段进行过滤。 生成异常数据：勾选此项，表示异常数据将按照配置的参数存储到规定的库中。
数据服务平台的审核中心，提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时，会触发审核，审核机制如下： 当发布人不具备审核人权限时，发布API时需要提交给审核人审核。 当发布人具备审核人权限时，可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
