云服务器内容精选

  • 管理数据资产 数据资产管理创建完成后,用户可以根据需要对主题域分组、主题域、业务对象等进行修改、删除等操作,具体操作如表7所示。 表7 操作说明 操作 说明 编辑主题域分组信息 单击主题域分组名称,在界面右侧基础信息区域单击“编辑”。 参考表2修改主题域分组信息,单击“确定”。 删除主题域分组 单击主题域分组名称,在界面右侧主题域分组名称区域单击“删除”。 在弹框中单击“确定”。 为主题域分组关联组织 单击创建的主题域分组,在界面右侧关联组织区域单击“添加关联”。 在弹框中选择组织子类型,然后选择子类型下的组织,单击“确定”。 为主题域分组解绑组织 单击主题域分组名称,在界面右侧关联组织区域单击“解绑”。 在弹框中单击“确定”。 编辑主题域信息 单击主题域分组名称,在界面右侧关联主题域区域单击操作列的“编辑”,修改主题域信息,单击“确定”。 单击主题 域名 称,在界面右侧基础信息区域单击“编辑”,修改主题域信息,单击“确定”。 删除主题域 单击主题域分组名称,在界面右侧关联主题域区域单击操作列的“删除”,在弹框中单击“确定”。 单击主题域名称,在界面右侧主题域名称区域单击“删除”,在弹框中单击“确定”。 编辑业务对象信息 单击主题域名称,在界面右侧关联业务对象区域单击操作列的“编辑”,修改业务对象信息,单击“确定”。 单击业务对象名称,在界面右侧基础信息区域单击“编辑”,修改业务对象信息,单击“确定”。 删除业务对象 单击主题域名称,在界面右侧关联业务对象区域单击操作列的“删除”,在弹框中单击“确定”。 单击业务对象名称,在界面右侧业务对象名称区域单击“删除”,在弹框中单击“确定”。 为业务对象关联业务能力 单击业务对象名称,在界面右侧关联业务能力区域单击“添加关联”。 在弹框中选择业务能力子类型,然后选择子类型下的业务能力,单击“确定”。 为业务对象解绑业务能力 单击业务对象名称,在界面右侧关联业务能力区域单击“解绑”。 在弹框中单击“确定”。 编辑逻辑实体信息 单击业务对象名称,在界面右侧关联逻辑实体区域单击操作列的“编辑”,修改逻辑实体信息,单击“确定”。 单击逻辑实体名称,在界面右侧基础信息区域单击“编辑”,修改逻辑实体信息,单击“确定”。 删除逻辑实体 单击业务对象名称,在界面右侧关联逻辑实体区域单击操作列的“删除”,在弹框中单击“确定”。 单击逻辑实体名称,在界面右侧逻辑实体名称区域单击“删除”,在弹框中单击“确定”。 为逻辑数据实体关联数据集 单击逻辑数据实体名称,在界面右侧关联数据集区域单击“添加”。 在弹框中选择数据集子类型,然后选择子类型下的数据集,单击“确定”。 为逻辑数据实体解绑数据集 单击逻辑数据实体名称,在界面右侧关联数据集区域单击“解绑”。 在弹框中单击“确定”。 编辑属性信息 单击逻辑实体名称,在界面右侧关联属性区域单击操作列的“编辑”,修改属性信息,单击“确定”。 单击属性名称,在界面右侧基础信息区域单击“编辑”,修改属性信息,单击“确定”。 删除属性 单击逻辑实体名称,在界面右侧关联属性区域单击操作列的“删除”,在弹框中单击“确定”。 单击属性名称,在界面右侧属性名称区域单击“删除”,在弹框中单击“确定”。 为实体属性关联数据集字段 单击实体属性名称,在界面右侧关联数据集字段区域单击“添加”。 在弹框中选择数据集字段,单击“确定”。 为实体属性解绑数据集字段 单击属性名称,在界面右侧关联数据集字段区域单击“解绑”。 在弹框中单击“确定”。
  • 创建信息架构—资产模板 解决方案工作台解决方案加速场发布了不同资产产业、适用场景的数据模型资产供用户使用,您可以通过搜索加速场数据模型资产,引用合适的资产,在此资产的基础上进行您的信息架构设计。 进入设计中心后,切换至在技术架构设计页签,点击【新建信息架构】。 填写信息架构名称,选择资产模板,在选择资产模板处通过搜索关键字,选择合适的加速场数据模型资产。 全量引用:将该数据模型资产全部引入信息架构中; 部分引用:允许您有选择地引用模板中的单个或多个主题设计、逻辑模型设计中的实体,以及物理模型设计中的表。 图4 资产模板引用-全量引用
  • 枢纽元模型V2.0实体联接定义 表5 枢纽元模型V2.0实体联接定义 源类实体 目标类实体 关系名称 关系层次 说明 行政领域 行政单元 被包含 多对一 数据普查目录中,手工实现行政单元和行政领域的关联。 应用 行政领域 关联于 多对一 数据普查目录中,手工实现行政领域和应用的关联。 应用 用户 被拥有 多对一 注册应用时选择应用责任人实现应用和用户的关联。 属性 数据标准 关联于 多对一 数据资产目录中,手工实现关联属性和数据标准的关系。 属性 逻辑数据实体 被包含 多对一 数据资产目录中,手工实现关联属性和逻辑数据实体的关系。 属性 数据集字段 关联于 一对一 数据资产目录中,为属性注册字段时创建属性和数据集字段的关系。 业务对象 主题域 被包含 多对一 数据资产目录中,手工实现关联业务对象和主题域的关系。 业务对象 用户 被拥有 多对一 数据资产目录配置时,为业务对象设置数据owner时创建业务对象和用户的关系。 业务对象 用户 被管理 多对一 数据资产目录配置时,为业务对象设置数据管家时创建业务对象和用户的关系。 卡片 应用 被包含 多对一 应用中包含多个卡片。当前枢纽元模型V2.0尚不支持此功能。 数据集容器 数据集容器 被包含 多对一 采集技术元数据后,会自动生成数据集容器之间包含关系。 数据平台实例 应用 关联于 多对一 数据普查目录中,手工实现关联数据平台实例和应用的关系。 数据集 业务对象 被包含 多对一 已失效。枢纽元模型V2.1中计划删除此实体联接。 数据集 数据平台实例 被包含 多对一 采集技术元数据后,会自动生成数据集和数据平台实例关联关系。 数据集 数据集容器 被包含 多对一 采集技术元数据后,会自动生成数据集和数据集容器关联关系。 数据集 数据集 为其上游 多对多 采集数据血缘后,会生成数据集之间血缘关系。 当前FabricMetamodelV2.0尚不支持此功能。 数据集 报表 被消费 多对一 制作报表时生成数据集和报表的关系。 数据集 用户 被拥有 多对一 数据普查目录中,设置数据集的数据owner生成数据集和用户的关系。 数据集 用户 被管理 多对一 数据普查目录中,设置数据集的数据管家生成数据集和用户的关系。 数据标准 用户 被管理 多对一 创建数据标准时设置数据管家时关联数据标准和用户的关系。 分组 主题域分组 关联于 多对多 创建主题域分组时,自动创建一个分组与主题域分组关联。FabricMetamodelV2.1中此关系层次将改为1:1。 逻辑数据实体 业务对象 被包含 多对一 数据资产目录中,手工实现关联逻辑数据实体和业务对象的关系。 逻辑数据实体 数据集 关联于 一对多 数据资产目录中,为逻辑数据实体注册物理表时创建逻辑数据实体和数据集的关系。 逻辑数据实体 用户 被拥有 多对一 数据资产目录配置时,为逻辑数据实体设置数据管家时创建逻辑数据实体和用户的关系。 逻辑数据实体 用户 被管理 多对一 数据资产目录配置时,为逻辑数据实体设置数据owner时创建逻辑数据实体和用户的关系。 主题域 主题域分组 被包含 多对一 数据资产目录中,手工实现关联主题域和主题域分组的关系。 主题域 用户 被拥有 多对一 数据资产目录中,为主题域设置数据owner时创建主题域和用户的关系。 报表分组 空间 被包含 多对一 在空间中创建报表分组时关联报表分组和空间的关系。 报表 报表分组 被包含 多对一 创建报表时选择报表分组关联报表分组和报表的关系。 报表 用户 被拥有 多对一 创建报表时自动创建报表和用户的关系。 空间 用户 被拥有 多对一 创建空间时设置空间owner关联空间和用户的关系。 数据集字段 数据集 被包含 多对一 采集技术元数据后,会自动生成数据集和数据集字段关联关系。 数据集字段 数据标准 关联于 多对一 数据普查目录中,手工实现关联数据集字段和数据标准的关系。 用户 分组 被包含 多对一 团队管理中,在团队中添加成员时创建用户和分组的关系。
  • 枢纽元模型V2.0关系 枢纽元模型V2.0关系(Relationships)的使用需要遵循以下原则: 关系可以被用于实体与实体之间建立联系,形成实体联接。 关系可以被用于实体与特征之间建立联系,形成特征联接。实体和特征之间仅允许使用组合关系(Composition)。 两个实体之间允许存在多个关系,表示不同的语义。 对于一对多的关系,且目标实体数量较多时,建议建立源实体和目标实体之间的“被关系”。比如业务对象包含多个逻辑实体,定义“逻辑实体-业务对象”之间的关系为被包含。 表4 枢纽元模型V2.0关系 关系中文名 说明 被包含 描述实体间的包含关系。 被拥有 描述实体间的拥有关系。 被管理 描述实体间的管理关系。 被消费 描述实体间的消费关系。 为其上游 描述数据集之间的血缘关系。 组合 描述实体和特征之间的组合关系。
  • 实体定义 ABM平台,基于[MOF V2.5.1]的实现中,要求所有实体具备三个基础属性,如表2所示: 表2 ABM平台实体基础属性 属性(Attribute) 数据类型 为空 可搜索 描述 URN string N Y 实体实例化后产生了元数据,ABM平台用URN来唯一标识此元数据。 NAME string N Y ABM平台用NAME表示实体名称。枢纽元模型V2.0中未使用此属性。 ENTITYTYPE string N Y ABM平台用ENTITYTYPE来唯一标识此实体类型。ENTITYTYPE的取值默认为“元模型架构编码-实体名称”。如应用实体ENTITYTYPE值为“Metamodel3-应用”。
  • 枢纽元模型V2.0中定义的所有特征 表3 枢纽元模型V2.0特征列表 特征名 关联实体 说明 行政领域标识 行政领域 行政领域的唯一标识。 行政领域信息 行政领域 行政领域的信息,包括预置的信息和用户自定义的信息,预置的信息无法修改,只允许修改用户自定义的信息。 行政单元信息 行政单元 行政单元的信息。 应用信息 应用 描述应用的关键信息。 应用标识 应用 应用的唯一标识。 应用状态 应用 应用状态信息。 数据资产开发状态 逻辑数据实体 数据资产开发状态。 BI报告信息 报表 BI报告信息。 卡片信息 卡片 卡片详情。 业务系统承建信息 应用 业务系统承建信息。 数据分类信息 逻辑数据实体 数据分类。(FabricMetamodelV2.1中计划改为dataClassification) 数据平台实例信息 数据平台实例 数据平台实例信息。 数据平台实例元数据采集统计信息 数据平台实例 数据平台实例元数据采集统计信息,此特征尚未被使用。 数据集对应的统计信息 数据集 数据集对应的统计信息,主要是记录占用存储空间等。 数据标准信息 数据标准 数据标准详细信息。 数据分类信息 数据集 数据分类信息。 数据仓库 信息 数据平台实例 数据仓库描述信息。 数据资产信息 属性 业务对象 逻辑数据实体 主题域分组 主题域 数据资产描述信息。 数据集字段信息 数据集字段 数据集字段信息。 团队信息 分组 团队信息。 应用托管信息 应用 应用托管信息。 实体维护信息 行政领域 行政单元 应用 属性 业务对象 卡片 数据集 逻辑数据实体 报表 报表分组 空间 主题域分组 主题域 实体维护信息。 报表访问信息 报表 报表访问信息。 报表分组信息 报表分组 报表分组信息。 密级和隐私信息 属性 数据集 逻辑数据实体 数据集字段 密级和隐私信息。 空间信息 空间 空间信息。 用户账号信息 用户 用户账号信息。 用户信息 用户 用户信息。
  • 枢纽元模型V2.0中定义的所有实体 业务架构使用业务元数据,技术架构使用技术元数据。 表1 枢纽元模型V2.0实体列表 实体中文名 架构分类 元数据分类 说明 行政领域 业务架构 Business 用于描述行政领域,例如政府的公安/卫健等,或者企业的财经/人力资源等。 行政单元 业务架构 Business 用于描述行政单元,如政府的省/市/区、企业的集团/分支机构、法人实体等。 应用 应用架构 Business 应用是数据资产运营枢纽中对IT系统的统称,包括文件应用、业务系统应用、企业应用、数据仓库应用等。 属性 数据架构/信息架构 Business 描述业务对象的数据特征,是数据最基本的单元。 业务对象 数据架构/信息架构 Business 业务领域重要的人、事、物,承载了业务运作和管理涉及的重要信息。 卡片 应用架构 Business 报表由多个可视化组件组成,一个可视化组件称为卡片。 数据集容器 技术架构 Technical 包括一组数据集的逻辑库。 数据平台实例 技术架构 Technical 数据源是元数据的来源。包括以下几类来源:关系型数据库(比如MySQL、Oracle)、对象存储(比如华为云OBS)、企业应用(比如金碟ERP)、BI软件(比如四方伟业BI、帆软BI)、大数据存储(比如Hive、HDFS)、消息队列(比如kafka)、ETL工具(比如AWS Glue)、 时序数据库 (比如influx)等。数据源又称数据平台实例。 数据集 技术架构 Technical 代表了数据的集合,通常指数据库中的表/视图、流处理系统中的流、 数据湖 系统中以文件或文件夹形式存在的数据集合等。 数据标准 业务架构 Business 定义组织层面需共同遵守的属性层数据含义和业务规则,是组织层面对某个数据的共同理解,这些理解一旦确定下来,就应作为组织层面的标准在组织内被共同遵守。 团队 业务架构 Business 数据资产管理和运营用户旅程中的团队参与方。 逻辑数据实体 数据架构/信息架构 Governance 具有一定逻辑关系的数据属性的集合。 报表 应用架构 Business 以特定格式展现数据的一种可视化报告,能直观地展现业务分析结果,用于支撑业务决策。 报表分组 应用架构 Business 对报表的分类信息。 数据集字段 数据架构/信息架构 Technical 数据集中的每一列的特定变量对应一个数据集字段。 空间 技术架构 Business 用于描述数据分析师的工作空间,此空间为一个逻辑概念,空间中涵盖了“数据分析师团队、团队拥有的数据底座、有访问权限的数据资产、数据开发工具、数据应用”等关联概念。 主题域 数据架构/信息架构 Business 公司顶层信息分类,通过数据视角体现公司最高层关注的业务领域。 主题域分组 数据架构/信息架构 Business 互不重叠数据的高层面的分类,用于管理下一级的业务对象。 用户 业务架构 Business 数据资产管理和运营用户旅程中的个人参与方,如数据管家、数据分析师、数据普查员等。
  • 信息架构概述 ABM实现了MOF M3层的核心元素: Class:类表示一个对象(Object),例如业务对象就是一个Class。 Property:属性表示附着在对象上的一个参数,例如业务对象Class中包含数据管家属性。 Association:关系表示两个Class之间,或者Class和Property之间的关系。 ABM元模型(MOF M2元模型)在设计时参考了开源项目[DataHub MM]设计方式,形成六个要素: Entity:实体。 Signature:实体特征,被多个实体复用的特征,是一种特殊的属性组合。 Attribute:附属于实体的一般实体属性。 Relationship:关系,目前默认关系是双向可访问的。 Entity Link:实体联接,指在源实体和目的实体之间通过关系建立联接。 Signature Link:特征联接,指在实体和特征之间建立联接。 ABM元模型引擎中构建的一个MOF M1层元模型,命名为FabricSample元模型,用于阐述上面的六要素的概念。此M1层元模型包括: 两个实体:Actor、 BusinessDataObject。 一个特征:DigitalID,实体关联特征的时候,固定使用的是MOF自带的组合关系(Composition)。 一个属性:subType属性。 四个关系:IsSuppliedBy、IsConsumedBy、RelatesTo、Composition(组合,系统默认)。 三个实体联接:“BusinessDataObject-IsSuppliedBy-Actor”、“BusinessDataObject-IsConsumedBy-Actor”、“BusinessDataObjectRelatesTo-BusinessDataObject”。 两个特征联接:“Actor-Composites-DigitalID”、“BusinessDataObjectComposites-DigitalID”。 信息架构分为业务架构和技术架构两种。 业务架构:用户根据实际业务场景创建自定义业务架构模型,创建成功自动生成对应的业务适配器。业务模型是模型目录资产录入的依据。 技术架构:针对关系型数据库、非关系型数据库、开放API等底层技术,用户可创建对应的技术架构,创建成功后需手动创建对应技术适配器。 父主题: 信息架构
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data Object 返回的数据信息 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息 状态码: 401 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息 状态码: 403 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.000,请求处理成功 error_msg String 错误信息 data Object 返回的数据信息
  • 响应示例 状态码: 200 Success,返回data数据是AllTableVO列表 { "data" : { "value" : { "total" : 257, "records" : [ { "id" : "1151245424246579200", "name" : "demo", "tb_logic_guid" : "c9440280-49b3-4804-aff8-89041ec7bbff", "quality_id" : null, "reversed" : null, "partition_conf" : null, "dirty_out_switch" : false, "dirty_out_database" : "", "dirty_out_prefix" : "", "dirty_out_suffix" : "", "tb_guid" : "26e39e68-95e0-4f3f-a819-10a5053de997", "code" : "create_test", "create_by" : "xxx", "tenant_id" : "xxx", "description" : "无", "status" : "PUBLISHED", "biz_type" : "AGGREGATION_ LOG IC_TABLE", "create_time" : "2023-09-12T19:58:18+08:00", "update_time" : "2023-09-12T21:00:37+08:00", "db_name\"" : "default", "dw_type\"" : " DLI ", "queue_name\"" : null, "schema\"" : "", "l1\"" : "l1", "l2\"" : "l2", "l3" : "null,", "l1_id" : "1080855591154495488", "l2_id" : "1080855591154495499", "l3_id" : null, "new_biz" : null, "physical_table" : "CREATE_SUC CES S", "technical_asset" : "UPDATE_SUCCESS", "business_asset" : "UPDATE_SUCCESS", "meta_data_link" : "UPDATE_SUCCESS", "data_quality" : "NO_NEED", "dlf_task" : "UPDATE_SUCCESS", "materialization" : null, "publish_to_dlm" : "CREATE_FAILED", "summary_status" : "SUMMARY_FAILED", "standard_count" : null, "alias" : "", "api_id" : null, "workspace_id" : null, "workspace_name" : null } ] } } }
  • URI GET /v2/{project_id}/design/all-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 按名称或编码模糊查询 create_by 否 String 按创建者查询 status 否 String 业务状态 枚举值: DRAFT PUBLISH_DEVELOPING PUBLISHED OFFLINE_DEVELOPING OFFLINE REJECT sync_status 否 String 枚举值: RUNNING NO_NEED SUMMARY_SUCCESS SUMMARY_FAILED sync_key 否 Array 枚举值: BUSINESS_ASSET DATA_QUALITY TECHNICAL_ASSET META_DATA_LINK PHYSICAL_TABLE DLF_TASK MATERIALIZATION biz_catalog_id 否 String 所属的业务分层的id begin_time 否 String 时间过滤左边界,与end_time一起使用,只支持时间范围过滤,单边过滤无效 end_time 否 String 时间过滤右边界,与begin_time一起使用只支持时间范围过滤,单边过滤无效 limit 否 Integer 查询条数,即查询Y条数据。默认值50,取值范围[1,100] 最大值:100 缺省值:50 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整。默认值0 缺省值:0 biz_catalog_id_list 否 Array 所属主题的id列表 biz_type_list 是 Array 查询的表类型,必填 枚举值: TABLE_MODEL_LOGIC TABLE_MODEL DIMENSION_LOGIC_TABLE FACT_LOGIC_TABLE AGGREGATION_LOGIC_TABLE