检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 重跑作业实例 父主题: 数据开发API(V2)
格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制 单工作空间允许创建的数据标准目录最多500条,个数最多20000个。
在数据开发模块控制台的左侧导航栏,选择“备份管理”。 选择“还原管理”页签,单击“还原备份”。 在还原备份对话框中,从OBS桶中选择待还原的资产存储路径,设置重名处理策略。 待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json
p内嵌对象;循环执行的子作业的作业参数名配置后,参数值无需配置可置为空。 当循环执行的子作业需要使用自身参数变量运行时,则本参数可置为空;循环执行的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集,这个数据集用来循环替换子作业中的变量,数据集应为二维数
通过工具自动生成JSON格式的消息:单击“生成JSON消息”,在弹出的对话框中填写“消息”和选择“协议”。 模板消息:按模板格式发送的消息,即固定格式的消息,可以通过tag的方式来处理变量的部分。 手动输入模板格式的消息:在“消息内容”直接输入。 通过工具自动生成模板格式的消息:单击“生成模板
采集任务。 技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产,支持模糊搜索。
空间内容、不进行操作的用户设置为访客。 表1 企业模式内的权限 - 简单空间 企业空间 管理者 拥有生产环境管理中心的所有权限,包含连接配置、数据导入导出等。 增加了部署相关的新操作 进行管理中心的连接配置、环境隔离配置,数据导入导出等 进行数据开发配置,比如环境配置、调度身份配置、配置默认项等
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
关键路径:影响基线任务的多条路径中,运行耗时最长的路径。 事件:基线任务及其上游任务出错,或关键路径上的任务变慢时,会产生事件。事件会影响基线任务的按时完成。 监控范围 关键任务以及其依赖链上游的所有任务。 功能介绍 将重要任务添加到基线上后,系统将根据基线的优先级保障基线任务的资源,并根据
图2 查看被依赖作业的执行结果 创建一个周期调度的天任务作业。(每天07:15执行的天任务作业) 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击目录名称,选择“新建作业”,创建一个批处理的Pipeline作业,分钟作业的名称为job_3417_kk02。
当“规则类型”选择“自定义规则”,数据对象选择对应的数据库即可。 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时,需要配置该
止访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义用户禁止的权限类型。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配给适用的用户和组。受委托的管理员
当前支持在不同的父节点下创建同名的分类,但同一父节点下不能创建同名的分类。 导入预置数据分类时,需要先为所有的预置规则配置数据密级,才能导入预置数据分类。 导入预置数据分类时,会直接导入分类和对应的识别规则,与当前分类和规则同名的部分无法导入。 当父类下有子分类的时候,无法直接删除该父分类,需要先删除子分类。
只有数据开发作业配置了周期调度,才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法
agent版本。 DWS连接用户权限 非三权分立模式,连接中的用户至少需具备数据库dbadmin权限, 三权分立模式,连接中的用户需具备系统管理员权限。 非三权分立模式,参考数据库用户设置dbadmin管理员用户。 三权分立模式,参考设置三权分立设置系统管理员用户。 查看DWS集群guest agent版本
哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 目标端配置 *数据源类型 选择存储脱敏后数据的数据源类型,支持的脱敏场景如表3所示。 *数据连接 选择已在管理中心组件创建的数据连接。若未创建请参考创建DataArts
参数值的报错。 图2 添加授权 授权成功后,可以在应用管理详情页面查看已绑定的API。 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
只有数据开发作业配置了周期调度,才支持使用补数据功能。 使用案例 案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法