检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
逻辑模型 逻辑模型是利用实体及相互之间的关系,准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性,使用一系列标准的规则将各种对象的特征体现出来,并对各实体之间的关系进行准确定义。 同时,逻辑模型也为构建物理模型提供了有力的参考依据,并支持转换为物理模型,
戳。 20180921145505 指标 输入迁移哪个指标的数据,或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数,如果这里有输入标记,则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2 父主题: 配置CDM作业源端参数
批作业监控 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划,可以定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。
新建时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻
数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预
产品优势 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控,提供数据架构定义及可视化的模型
Jar包添加到资源管理列表中,具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数,该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 需要先在数据安全服务队列权限功能中,配置对应的
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
数。 该参数表示抽取指定值的partition,属性名称为分区名称,属性值可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时
步骤5:数据架构设计 DataArts Studio数据架构以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 DataArts Studio数据架构建议的数据分层如下: SDI (Source
CloudTable 起始时间 起始时间(包含该值)。格式为'yyyy-MM-dd hh:mm:ss', 支持dateformat时间宏变量函数。 例如:"2017-12-31 20:00:00" 或 "${dateformat(yyyy-MM-dd, -1, DAY)} 02:00:00"
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节
配置元数据采集任务 本章主要介绍如何通过配置元数据采集策略新建采集任务,不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略,采集对应的技术元数据信息。 约束与限制 当元数据采集任务未指定采集范围时,默认采集该数据连接下的所有数据表/文件。采集任务运行完成后,
数据架构概述 模型设计方法概述 根据业务需求抽取信息的主要特征,模拟和抽象出一个能够反映业务信息(对象)之间关联关系的模型,即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求:能比较真实地模拟业务(场景);容易被人所理解;便于在IT系统中实现。
例如:|。 否 | 开始时间 起始时间(包含该值)。格式为'yyyy-MM-dd hh:mm:ss', 支持dateformat时间宏变量函数。 例如:"2017-12-31 20:00:00" 或 "${dateformat(yyyy-MM-dd, -1, DAY)} 02:00:00"
id})',其中fact_column_id表示引用事实表中的字段ID。 cal_fn_ids 否 Array of strings 引用函数ID,ID字符串。 l2_id 否 String 主题域ID。 l3_id 是 String 业务对象guid,ID字符串。 table_id
id})',其中fact_column_id表示引用事实表中的字段ID。 cal_fn_ids 否 Array of strings 引用函数ID,ID字符串。 l2_id 否 String 主题域ID。 l3_id 是 String 业务对象guid,ID字符串。 table_id
OBS数据迁移到DLI服务 操作场景 数据湖探索(Data Lake Insight,简称DLI)提供大数据查询服务,本章节介绍使用CDM将OBS的数据迁移到DLI,使用流程如下: 创建CDM集群 创建DLI连接 创建OBS连接 创建迁移作业 前提条件 已经开通了OBS和DLI,并且当前用户拥有OBS的读取权限。
创建数据库 CreateFunctionEvent 创建函数 CreateTableEvent 创建表 DropConstraintEvent 删除约束 DropDatabaseEvent删除数据库 DropFunctionEvent删除函数 DropPartitionEvent删除分区 DropTableEvent删除表
Header.Add("x-stage", "RELEASE") r.Header.Add("name","value") 进行签名,执行此函数会在请求中添加用于签名的X-Sdk-Date头和Authorization头。然后为请求添加x-Authorization头,值与Authorization头相同。