检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
随着用户业务的演进,自然周期调度中,增加了许多新的调度规则,如离散小时调度,最近依赖调度等。本章节详细讲解这两个调度规则。 离散小时调度 场景一:离散小时依赖月、周、天 ,或者月、周、天依赖离散小时, 这六种依赖,依赖的时间范围都是依赖自然天内的所有作业实例。
通过DIS管理控制台获取通道名称: 登录管理控制台。 单击“数据接入服务”,左侧列表选择“通道管理”。 通道管理页面中列出了用户拥有的通道。
用户同步接口 查询用户同步列表 查询单个用户同步任务 父主题: 数据安全API
from-link-name 是 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。
不支持使用.连接表和字段,如${Schema_Table2}.${Column1}.${Input_String1}。
Cdm.0201 400 获取实例失败。 获取实例失败。 请联系客服或技术支持人员协助解决。 Cdm.0202 400 作业状态未知。 作业状态未知。 请稍后重试,或请联系客服或技术支持人员协助解决。 Cdm.0204 400 没有已创建的MRS连接。 没有已创建的MRS连接。
通过DIS管理控制台获取通道名称: 登录管理控制台。 单击“数据接入服务”,左侧列表选择“通道管理”。 通道管理中列出了用户拥有的通道。
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
审计日志 如何查看审计日志 支持云审计的关键操作
数据质量 业务指标监控(待下线) 数据质量监控 使用教程
toJobConfig.delimiter 否 String 当选取多个列做rowkey时,连接多列的分隔符,例如:“|”。 toJobConfig.isRowkeyRedundancy 否 Boolean 是否将选做Rowkey的数据同时写入HBase的列。
数据开发 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
当告警级别达到严重及以上级别时,向用户发送一条消息。 每天提供一个运维报表,统计各应用的告警级别数据。 为解决以上场景的需求,我们设计了如下方案: 图1 方案设计 操作流程如下: 实时数据导入:通过数据接入服务(DIS)将数据中心的告警数据实时导入到数据湖探索(DLI)。
通过DIS管理控制台获取通道名称: 登录管理控制台。 单击“数据接入服务”,左侧列表选择“通道管理”。 通道管理页面中列出了用户拥有的通道。
可以在列中或者xml类型的变量中存储xml实例。存储的xml数据类型表示实例大小不能超过2GB。
审核人员审核对象 使用审核人员账号,登录DataArts Studio控制台。找到已创建的DataArts Studio实例,单击实例卡片上的“进入控制台”。在工作空间概览列表中,找到所需要的工作空间,单击“数据架构”,进入数据架构控制台。
程序在读写两端会根据数据源类型,使用不同的访问接口,一般是数据源提供的对外接口,例如JDBC、原生API等,因此在开发脚本时需要依赖大量的库、SDK等,开发管理成本较高。 CDM提供了Web化的管理控制台,通过Web页实时开通服务。
运维调度 数据管理 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。主要包含建立数据连接、新建数据库、新建数据表等操作。 在本例中,相关数据管理操作已经在步骤2:数据准备中完成,本步骤可跳过。
方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
金仓和GaussDB数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。