检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据目录模块可视化查看数据血缘关系。 约束限制 数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。 对于同一版本的数据开发作业,系统基于最新的作业调度实例生成数据血缘关系后,在冷却期(默认为48小时)内不会再次更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。
导入模型,关系建模,维度建模,码表,业务指标以及流程架构 功能介绍 导入模型,关系建模,维度建模,码表,业务指标以及流程架构。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/models/action 表1 路径参数 参数 是否必选
依赖规则。“默认”表示之前的调度依赖关系规则保持不变。 天作业依赖离散小时作业时,上一周期依赖关系支持“所有实例”、“任意实例”、“最后一个实例”和“默认”四种依赖规则。“默认”表示之前的调度依赖关系规则保持不变。 其余的调度周期作业依赖关系保持不变,依赖规则系统显示“默认”。 跨周期依赖
购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 调用API 申请API授权 通过不同方式调用API
支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型,通过任务间依赖完成复杂数据分析处理。
关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据,用于
支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。
模型统计信息 功能介绍 单个模型中的统计信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-models/statistic 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
用户Token进行安全认证。支持通过API调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访问,建议仅在测试接口时使用,不推荐正式使用。使用无认证方式时,无需鉴权认证信息,安全级别低,通过API调用工具或浏览器即可直接调用。 服务目录可见性 发布后,所选范围内的用户均可以在服务目录中看到此API。
数据资产guid 每个业务资产、技术资产或指标资产都具备guid,guid是资产的唯一标识符。在调用数据目录或数据地图接口时,部分URI中需要填入guid。 资产guid可通过相应查询接口获取,也可以通过控制台获取,推荐您通过相应查询接口获取。 控制台获取操作相对复杂,如下所示,
与其他云服务的关系 统一身份认证服务 DataArts Studio使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证和鉴权功能。 云审计服务 DataArts Studio使用云审计服务(Cloud Trace Servic
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题: 数据集成(实时作业)
格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制 单工作空间允许创建的数据标准目录最多500条,个数最多20000个。
更新原子指标 功能介绍 更新单个原子指标。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/atomic-indexs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
新建原子指标 功能介绍 新建单个原子指标。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/atomic-indexs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
更新衍生指标 功能介绍 根据传入参数,更新衍生指标。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/derivative-indexs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
为什么关系建模或维度建模修改字段后,数据库中表无变化? 可能原因 关系建模或维度建模修改字段后,数据库中表无变化。 解决方案 关系建模或维度建模修改字段更新表后,但实际上数据库中物理表并无变化,这是因为未对数据表更新方式做配置,此选项默认为“不更新”。 配置数据表更新方式操作如下:
数据架构支持哪些数据建模方法? 问题描述 数据架构的数据建模方法有哪些。 解决方案 DataArts Studio数据架构支持的建模方法有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数
更新复合指标 功能介绍 根据参数,更新复合指标。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/compound-metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
API数量。 调用比率 统计调用方最近7天内调用API的成功和失败比例。 已申请 统计API调用方,在数据服务平台申请调用的API数量。 调用成功 统计API调用方在数据服务平台成功调用API的次数。 总调用次数 统计API调用方在数据服务平台调用API的总次数。 父主题: 数据服务