检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置任务组 通过配置任务组,可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业,只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。
简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天),精确到天。业务日期可通过${yyyym
通过CDM节点批量创建分表迁移作业 适用场景 业务系统中,数据源往往会采用分表的形式,以减少单表大小,支持复杂的业务应用场景。 在这种情况下,通过CDM进行数据集成时,需要针对每张表创建一个数据迁移作业。您可以参考本教程,通过数据开发模块的For Each节点和CDM节点,配合作业参数,实现批量创建分表迁移作业。
求梳理、业务调研,输出企业业务流程以及数据主题划分。 主题设计:通过分层架构表达对数据的分类和定义,帮助厘清数据资产,明确业务领域和业务对象的关联关系。 主题域分组:基于业务场景对主题域进行分组。 主题域:互不重叠数据的高层面的数据分类,用于管理其下一级的业务对象。 业务对象:指
显示需要补数据的作业名称。 调度时间方式 单段连续业务日期 补数据的时间是连续的业务日期时间段。 多段离散业务日期 补数据的时间是不连续的离散的业务日期时间段。 业务日期 当“调度时间方式”选择为“单段连续业务日期”: 选择需要补数据的时间段。业务日期不能大于当前时间,大于当前时间系统会默认显示当前时间。
time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时,提示无法下载配置文件,实际是用户权限不足。建议您新建一个业务用户,给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用
缺乏企业数据体系标准和数据规范定义的方法论,数据语言不统一。 缺乏面向普通业务人员的高效、准确的数据搜索工具,数据找不到。 缺乏技术元数据与业务元数据的关联,数据读不懂。 缺乏数据的质量管控和评估手段,数据不可信。 数据运营的挑战 数据运营效率低,业务环境的快速变化带来大量多样化的数据分析报表需求,因为
选择“数据地图 > 总览”,默认进入“资产总览”页面。 图1 资产总览 单击“业务资产”,查看业务资产情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 单击“技术资产”,查看技术资产情况。 技术资产来自于数
资产将会执行失败。 同步业务资产:同步逻辑模型到数据目录,作为业务资产,同时同步标签到对应业务资产。 资产关联:实现业务资产与技术资产的关联。业务资产与技术资产同步完成后,在数据目录模块中查看对应的业务资产或技术资产详情时,可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。
解决方案 数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据质量模块的业务指标监控即将下线,推荐使用数据架构的业务指标功能。
表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 业务对象 业务对象下所有表评分的加权求平均值,即:∑业务对象下所有表评分/表的数量。 主题域 主题域下所有业务对象评分的加权求平均值,即:∑主题域下所有业务对象评分/业务对象的数量。 主题域分组 分组下所有主题域评分的加权求平
自然周期调度 解释说明 DataArts Studio支持自然周期的调度方式。通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。 调度依赖就是节点间的上下游依赖关系,在DataArts Studio中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。
管理资产标签 标签是用来标识数据的业务含义,是相关性很强的关键字,可以帮助您对资产进行分类和描述,以便于检索。 为方便管理技术资产,可以从业务角度定义标签,并与技术资产关联,比如标识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。
数据服务API编排是指将已经开发好的服务API接口,在无需编写复杂代码的情况下,根据特定的业务逻辑和流程进行可视化的重组和重构,从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力,您可以按照业务逻辑,以串行、并行等结构组合多个API为工作流,然后通过入口
此处加以描述信息。描述信息长度不能超过1024个字符。 标签 选择所需的标签。标签是在数据地图组件中定义的标签。如果未使用数据地图组件,则标签功能不生效。 所属目录 数据对账作业的存储目录,可选择已创建的目录。目录创建请参见(可选)新建目录。 作业级别 支持提示,一般,严重和致命四种级
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成,为
Studio数据架构支持的建模方法有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。
新建事实表 归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。 新建事实表并发布 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。
实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 实时处理作业可以配置节点级别的调度任务,即
于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制 单工作空间允许创建的数据标准目录最多500条,个数最多20000个。 新建数据标准目录