检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio和沃土是什么关系? 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。
删除表模型 功能介绍 在关系建模中删除一个表模型及其属性,包括逻辑实体和物理表。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
表1 PostgreSQL/SQL Server作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
Success,返回data数据是删除个数。 400 BadRequest 401 Unauthorized 403 Forbidden 父主题: 关系建模接口
Query参数 参数 是否必选 参数类型 描述 operation_type 是 String 批量操作类型。 枚举值: ER_REVERSE_DB: 关系建模逆向数据库 TRANSFORM_LOGIC_MODEL: 逻辑模型转物理模型 limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1
String 创建人。 update_by 否 String 更新人。 type 是 String 工作区类型枚举。 枚举值: THIRD_NF: 关系建模 DIMENSION: 维度建模 biz_catalog_ids 否 String 关联的业务分层的ID列表 {"l1Ids":[],"l2Ids":[]
无血缘关系表查询 功能介绍 无血缘关系表查询,请求参数type_names、classification、type_names、connection_names、query需至少指定一个。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/li
详情请参见配置元数据采集任务。 技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 前提条件 已在数据架构组件中定义并发布过的逻辑实体与数据表、业务指标。
支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、SQL、Shell等多种任务类型,通过任务间依赖完成复杂数据分析处理。
全部导出。 函数说明 新建原子指标时,需要按照函数设定表达式。以聚合函数的部分函数为例,函数说明如表3所示: 表3 聚合函数说明 函数名 表达式 函数说明 avg(col) avg() 求平均值。 corr(col1, col2) corr() 返回两列数值的相关系数。 count(*)
参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 model_id 是 String 所属关系建模的模型ID,ID字符串。model_id可从接口获取模型中获取。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述
String 创建人。 update_by 否 String 更新人。 type 是 String 工作区类型枚举。 枚举值: THIRD_NF: 关系建模 DIMENSION: 维度建模 biz_catalog_ids 否 String 关联的业务分层的ID列表 {"l1Ids":[],"l2Ids":[]
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
关系数据库增量迁移 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。
和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。
参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 model_id 是 String 所属关系建模的模型ID,ID字符串。model_id可从接口获取模型中获取。 表2 Query参数 参数 是否必选 参数类型 描述 tb_names
创建了2个作业,但是为什么无法建立依赖关系? 问题描述 创建2个作业,但是无法建立依赖关系。 原因分析 查看所创建的2个作业的调度周期,确认这2个作业是否均为周调度作业或者月调度作业。目前不支持同周期调度,即周依赖周或者月依赖月的作业,不支持建立依赖关系。 解决方案 如果这2个作业是周
数据治理框架 数据治理框架制定如下: 图1 数据治理框架 父主题: 数据治理框架
的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系,称之为数据的血缘关系。与人类社会中的血缘关系不同,数据的血缘关系还包含了一些特有的特征: 归属性:一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。
关系数据库连接 介绍 通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {