云服务器内容精选

  • 资产详情 本文以查看技术资产中的数据表详情为例进行说明。 在技术资产搜索结果列表,单击任意数据表,进入数据表详情页面。 在“详情”页签,可查看技术元数据基本属性、编辑描述;可给数据表添加标签和密级;可给数据表的列和OBS对象添加或删除分类、标签和密级。 图1 查看详情 在“权限”页签,可申请数据表权限或给其他用户授权。 在未上线数据安全组件的区域,申请权限和授权流程由数据目录组件提供,详见配置数据表权限(待下线)。 在已上线数据安全组件的区域,申请权限和授权流程由数据安全组件提供。 在已上线数据安全组件的区域,数据表权限功能已由数据安全组件提供,不再作为数据目录组件能力。 数据安全组件当前在上海一、上海二、乌兰察布一、华南广州和北京四区域部署上线。 图2 权限页签详情 在“列属性”页签,可查看数据表的列属性,给数据列添加或删除分类、标签和密级,并编辑描述。 图3 管理列属性 在“血缘”页签,可查看数据表的血缘关系,包括血缘和影响。如何配置数据血缘请参见通过数据目录查看数据血缘关系。数据开发作业配置了支持自动血缘的节点或手动配置节点的血缘关系后,作业执行时可以自动解析,在数据目录中展示数据血缘。 在“概要”页签,查看数据表的概要信息(当前仅支持DWS、 DLI 、OBS类型数据表查看概要,概要采样方式以元数据采集任务配置为准)。 单击“更新”,可更新概要信息。 在“数据预览”页签,预览当前表的业务数据。根据列的分类信息,支持对预览数据根据配置脱敏策略的设置进行实时脱敏。 数据预览支持的数据源类型:DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签,查看数据表变更详情。
  • 约束限制 业务资产和指标资产来自于数据架构组件,会随数据架构同步的数据更新,但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的数据连接信息来自于管理中心的数据连接,会随管理中心同步的数据更新,但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的库表列等信息来自于元数据采集任务,是否更新和自动删除取决于元数据采集任务的参数配置,详情请参见配置元数据采集任务。 技术资产中的数据血缘关系更新依赖于作业调度,数据血缘关系是基于最新的作业调度实例产生的。需要注意的是,数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。
  • 资产筛选 对于技术资产搜索结果,可以基于条件进行筛选,支持的筛选条件类别如下: 数据连接:数据资产所属数据连接名称。 类型:数据资产所属类型。 分类:数据资产所属分类。 标签:数据资产所包含的标签。 密级:数据资产所属密级。 如下通过资产类型过滤搜索结果,其他类同。 在类型过滤区域,选择“Table”,搜索结果显示属于Table类型的资产。 类型过滤条件按照名称排序,默认只显示前五种类型,单击“全部”,显示系统目前支持的所有资产类型。
  • 响应示例 状态码: 200 请求成功 { "create_time" : "2024-07-02T09:25:17Z+0800", "creator_id" : "b4*****************************46a", "creator_name" : "l00644738", "description" : "我的工作空间", "domain_id" : "ac*****************************bf4", "domain_name" : "scc****09", "enterprise_project_id" : "", "enterprise_project_name" : "", "id" : "39*************bf", "is_view" : false, "modifier_id" : "", "modifier_name" : "", "name" : "我的工作空间", "project_id" : "15**************************da6", "project_name" : "cn-north-4", "region_id" : "cn-north-4", "update_time" : "2024-07-02T09:25:17Z+0800", "view_bind_id" : "", "view_bind_name" : "", "workspace_agency_list" : [ ] }
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 id String 工作空间id create_time String 创建时间 update_time String 更新时间 name String 工作空间名称 description String 工作空间描述 creator_id String 创建人id creator_name String 创建人名称 modifier_id String 修改人id modifier_name String 修改人名称 project_id String 所属项目id project_name String 所属项目名称 domain_id String 所属租户id domain_name String 所属租户名称 enterprise_project_id String 企业项目id enterprise_project_name String 企业项目名称 is_view Boolean 是否是视图 region_id String 区域id view_bind_id String 视图绑定的空间id view_bind_name String 视图绑定的空间名称 workspace_agency_list Array of workspace_agency_list objects 仅用于视图场景,列出了该视图纳管的空间列表 表6 workspace_agency_list 参数 参数类型 描述 project_id String 委托空间所属项目id id String 空间委托id name String 空间委托名称 region_id String 委托空间所属region id workspace_attribution String THIS_ACCOUNT:本账号空间,CROSS_ACCOUNT:跨账号空间 agency_version String 用户创建托管空间时使用的 IAM 委托版本,V3或者V5 domain_id String 委托租户id domain_name String 委托租户名称 iam_agency_id String iam委托id iam_agency_name String iam委托名称 resource_spec_code Array of strings 委托空间购买版本 selected Boolean 是否被视图选中 状态码: 400 表7 响应Body参数 参数 参数类型 描述 code String 错误码 message String 错误消息 状态码: 500 表8 响应Body参数 参数 参数类型 描述 code String 错误码 message String 错误消息
  • 请求示例 创建工作空间请求体 { "name" : "我的工作空间", "region_id" : "cn-north-4", "project_name" : "cn-north-4", "enterprise_project_id" : "", "enterprise_project_name" : "", "tags" : [ { "key" : "tag1", "value" : "value1" } ], "description" : "我的工作空间" }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 content-type 是 String application/json;charset=UTF-8 表3 请求Body参数 参数 是否必选 参数类型 描述 region_id 是 String 区域id enterprise_project_id 否 String 企业项目id enterprise_project_name 否 String 企业项目名称 view_bind_id 否 String 视图绑定的空间id is_view 否 Boolean 是否是视图 name 是 String 工作空间名称 description 否 String 工作空间描述 project_name 是 String 项目名称 tags 否 Array of TagsPojo objects 通过给账号下的资源添加标签,可以对资源进行自定义标记,实现资源的分类。可到标签管理服务使用可视化表格操作资源标签,并对标签进行批量编辑。 表4 TagsPojo 参数 是否必选 参数类型 描述 key 否 String 标签key value 否 String 标签value
  • 工作空间通用规则 付费版本 安全云脑 :单账号单Region内最多创建5个工作空间。 免费版本安全云脑:单账号单Region内最多创建1个工作空间。 工作空间永久删除:永久删除的workspace立即删除,不能进行恢复。 空间托管: 单账号单Region内最多创建1个空间托管视图。 一个托管视图可以跨Region管理不同账号下的最多150个工作空间。 单账号创建账号委托 ≤ 10个。 暂不支持在同一个浏览器的多个窗口进入不同的工作空间进行操作。
  • 调整配额 租户管理员参考登录AstroCanvas界面中操作,登录AstroCanvas界面。 将鼠标放在页面右上方的“默认团队空间”上,选择新建工作空间中创建的工作空间,切换到目标工作空间。 在目标工作空间中,单击页面数量下方的“调整配额”。 图1 选择调整配额 输入页面配额,单击“确定”。 例如,输入页面数为10,表示在工作空间A中,最多支持创建10个大屏页面。其中,40个表示可分配的页面数,70个为租户页面的总配额。如果配额不足,可单击“页面扩容”,进行扩容,详情请参见购买扩容包增加页面数。 图2 设置页面配额 设置后,可发现页面数由“0个/0个”更新为“0个/10个”。 图3 查看已设置的页面配额
  • 企业模式对使用流程的影响 简单模式工作空间下, DataArts Studio 数据开发组件以及对应管理中心组件无法设置开发环境和生产环境,只能进行简单的数据开发,无法对数据开发流程和表权限进行强管控。提交脚本或作业后,您无需发布,脚本或作业即可进入调度系统周期性执行,产出结果数据。 图7 简单模式流程 企业模式下,DataArts Studio数据开发组件以及对应管理中心组件的数据连接支持设置开发环境和生产环境,有效隔离开发者对生产环境业务的影响。其中:开发环境只针对开发人员开放,只用于脚本或作业开发,开发完后发布到生产环境中。生产环境内不能做任何修改,只对最终用户开放,任何修改必须回退到开发环境中重新修改发布。 图8 企业模式流程
  • 简单模式与企业模式介绍 简单模式:传统的DataArts Studio工作空间模式。简单模式工作空间下,DataArts Studio数据开发组件以及对应管理中心组件无法设置开发环境和生产环境,只能进行简单的数据开发,无法对数据开发流程和表权限进行强管控。一个 数据湖 作为DataArts Studio的生产环境。 图5 简单模式工作空间 企业模式:为解决简单模式存在的风险,DataArts Studio工作空间新增支持企业模式。企业模式下,DataArts Studio数据开发组件以及对应管理中心组件的数据连接支持设置开发环境和生产环境,有效隔离开发者对生产环境业务的影响。需要两个数据湖中,其中一个数据湖作为DataArts Studio开发环境,另一个作为DataArts Studio生产环境。其中: 开发环境只针对开发人员开放,只用于脚本或作业开发,开发完后发布到生产环境中。 生产环境内不能做任何修改,只对最终用户开放,任何修改必须回退到开发环境中重新修改发布。 图6 企业模式工作空间 您可选择创建任意模式工作空间体验DataArts Studio,使用企业模式工作空间实现DataArts Studio开发环境与生产环境代码隔离、不同环境计算资源隔离、权限隔离、任务发布流程管控等需求。 若您已在使用简单模式工作空间,并且希望保留当前简单模式工作空间的代码时,可选择工作空间模式升级,详情请参见创建企业模式工作空间。
  • 背景信息 本文内容由以下几部分构成,从不同角度分别为您解决企业模式不同的问题。 表1 了解企业模式 分类 说明 简单模式与企业模式介绍 不同工作空间模式的介绍。 不同模式工作空间对生产任务开发与运维的影响 DataArts Studio建立于对应工作空间物理属性之上的任务开发与运维机制介绍。 不同模式工作空间的优劣势对比 不同工作空间模式的优劣势对比。 企业模式对使用流程的影响 介绍企业模式工作空间下的流程管控。 不同工作空间模式下,DataArts Studio模块对应操作 简单模式仅有生产环境,企业模式有开发环境和生产环境,此部分为您介绍各个环境与DataArts Studio模块的对应关系。
  • 注意事项 不同工作空间模式对于数据湖引擎存在一定的要求,企业模式工作空间需要分别为开发环境和生产环境进行数据湖引擎配置,才可以实现开发生产环境隔离。配置开发生产环境隔离包含以下三种方式: 图1 配置开发生产环境隔离 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如 MRS 、DWS、RDS、MySQL、Oracle、DIS、E CS 等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。 创建数据连接时,通过不同的集群来进行开发与生产环境的隔离,如图2所示。 图2 创建数据连接时选择不同集群 配置DLI环境隔离。 配置企业模式环境隔离,包含DLI队列配置和DB配置。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 配置DB,在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图3所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图4所示。详细操作请参见DB配置。 图3 创建数据连接时选择同一个集群 图4 DB配置 企业模式工作空间下,开发环境的数据开发作业默认不进行调度,仅发布至生产环境后可进行调度。
  • 不同模式工作空间的优劣势对比 表3 不同模式工作空间的优劣势对比 对比 简单模式 企业模式 优势 简单、方便、易用。 仅需要授权数据开发人员“开发者”角色即可完成所有数据开发工作。 提交脚本或作业后,您无需发布,脚本或作业即可进入调度系统周期性执行,产出结果数据。 安全、规范。 具备安全、规范的代码发布管控流程(包含代码评审、代码DIFF查看等功能),保障生产环境稳定性,避免不必要的因代码逻辑引起的脏数据蔓延或任务报错等非预期情况。 数据访问得到有效管控,数据安全得以保障。 所有脚本或作业仅支持在开发环境编辑,开发者无法修改生产环境的脚本或作业。 开发环境和生产环境的数据隔离,开发者无法影响生产环境的数据。 开发环境下,脚本、作业以当前开发者的身份执行;生产环境下,脚本、作业则使用空间级的公共IAM账号或公共委托执行。 如果需要对生产环境进行变更,必须在开发环境通过开发者的发布操作才能将变更提交到生产环境,需要管理者或部署者审批通过,才能发布成功。 劣势 存在不稳定、不安全的风险。 无法设置开发环境和生产环境隔离,只能进行简单的数据开发。 无法对生产表权限进行控制。 说明: 开发调测阶段,开发者可直接访问生产数据湖的数据,随意对表进行增加、删除和修改等操作,存在数据安全风险。 无法对数据开发流程进行管控。 说明: 开发者可以不经过任何人审批,随时新增、修改脚本或作业并提交至调度系统,给业务带来不稳定因素。 流程相对复杂,一般情况下无法一人完成所有数据开发、生产流程。
  • 查看工作空间内的数据资产 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图