云服务器内容精选

  • 工作空间通用规则 付费版本 安全云脑 :单账号单Region内最多创建5个工作空间。 免费版本安全云脑:单账号单Region内最多创建1个工作空间。 工作空间永久删除:永久删除的workspace立即删除,不能进行恢复。 空间托管: 单账号单Region内最多创建1个空间托管视图。 单/跨账号单Region空间托管视图(包含的纳管工作空间数)中的工作空间数 ≤ 100个。 跨账号跨Region空间托管视图(包含的纳管工作空间数)中的工作空间数 ≤ 10个。 单账号创建账号委托 ≤ 10个。 暂不支持在同一个浏览器的多个窗口进入不同的工作空间进行操作。
  • 注意事项 不同工作空间模式对于 数据湖 引擎存在一定的要求,企业模式工作空间需要分别为开发环境和生产环境进行数据湖引擎配置,才可以实现开发生产环境隔离。配置开发生产环境隔离包含以下三种方式: 图1 配置开发生产环境隔离 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如 MRS 、DWS、RDS、MySQL、Oracle、DIS、E CS 等), DataArts Studio 通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。 创建数据连接时,通过不同的集群来进行开发与生产环境的隔离,如图2所示。 图2 创建数据连接时选择不同集群 配置 DLI 环境隔离。 配置企业模式环境隔离,包含DLI队列配置和DB配置。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 配置DB,在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图3所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图4所示。详细操作请参见DB配置。 图3 创建数据连接时选择同一个集群 图4 DB配置 企业模式工作空间下,开发环境的数据开发作业默认不进行调度,仅发布至生产环境后可进行调度。
  • 简单模式与企业模式介绍 简单模式:传统的DataArts Studio工作空间模式。简单模式工作空间下,DataArts Studio数据开发组件以及对应管理中心组件无法设置开发环境和生产环境,只能进行简单的数据开发,无法对数据开发流程和表权限进行强管控。一个数据湖作为DataArts Studio的生产环境。 图5 简单模式工作空间 企业模式:为解决简单模式存在的风险,DataArts Studio工作空间新增支持企业模式。企业模式下,DataArts Studio数据开发组件以及对应管理中心组件的数据连接支持设置开发环境和生产环境,有效隔离开发者对生产环境业务的影响。需要两个数据湖中,其中一个数据湖作为DataArts Studio开发环境,另一个作为DataArts Studio生产环境。其中: 开发环境只针对开发人员开放,只用于脚本或作业开发,开发完后发布到生产环境中。 生产环境内不能做任何修改,只对最终用户开放,任何修改必须回退到开发环境中重新修改发布。 图6 企业模式工作空间 您可选择创建任意模式工作空间体验DataArts Studio,使用企业模式工作空间实现DataArts Studio开发环境与生产环境代码隔离、不同环境计算资源隔离、权限隔离、任务发布流程管控等需求。 若您已在使用简单模式工作空间,并且希望保留当前简单模式工作空间的代码时,可选择工作空间模式升级,详情请参见创建企业模式工作空间。
  • 企业模式对使用流程的影响 简单模式工作空间下,DataArts Studio数据开发组件以及对应管理中心组件无法设置开发环境和生产环境,只能进行简单的数据开发,无法对数据开发流程和表权限进行强管控。提交脚本或作业后,您无需发布,脚本或作业即可进入调度系统周期性执行,产出结果数据。 图7 简单模式流程 企业模式下,DataArts Studio数据开发组件以及对应管理中心组件的数据连接支持设置开发环境和生产环境,有效隔离开发者对生产环境业务的影响。其中:开发环境只针对开发人员开放,只用于脚本或作业开发,开发完后发布到生产环境中。生产环境内不能做任何修改,只对最终用户开放,任何修改必须回退到开发环境中重新修改发布。 图8 企业模式流程
  • 不同模式工作空间的优劣势对比 表3 不同模式工作空间的优劣势对比 对比 简单模式 企业模式 优势 简单、方便、易用。 仅需要授权数据开发人员“开发者”角色即可完成所有数据开发工作。 提交脚本或作业后,您无需发布,脚本或作业即可进入调度系统周期性执行,产出结果数据。 安全、规范。 具备安全、规范的代码发布管控流程(包含代码评审、代码DIFF查看等功能),保障生产环境稳定性,避免不必要的因代码逻辑引起的脏数据蔓延或任务报错等非预期情况。 数据访问得到有效管控,数据安全得以保障。 所有脚本或作业仅支持在开发环境编辑,开发者无法修改生产环境的脚本或作业。 开发环境和生产环境的数据隔离,开发者无法影响生产环境的数据。 开发环境下,脚本、作业以当前开发者的身份执行;生产环境下,脚本、作业则使用空间级的公共 IAM 账号或公共委托执行。 如果需要对生产环境进行变更,必须在开发环境通过开发者的发布操作才能将变更提交到生产环境,需要管理者或部署者审批通过,才能发布成功。 劣势 存在不稳定、不安全的风险。 无法设置开发环境和生产环境隔离,只能进行简单的数据开发。 无法对生产表权限进行控制。 说明: 开发调测阶段,开发者可直接访问生产数据湖的数据,随意对表进行增加、删除和修改等操作,存在数据安全风险。 无法对数据开发流程进行管控。 说明: 开发者可以不经过任何人审批,随时新增、修改脚本或作业并提交至调度系统,给业务带来不稳定因素。 流程相对复杂,一般情况下无法一人完成所有数据开发、生产流程。
  • 背景信息 本文内容由以下几部分构成,从不同角度分别为您解决企业模式不同的问题。 表1 了解企业模式 分类 说明 简单模式与企业模式介绍 不同工作空间模式的介绍。 不同模式工作空间对生产任务开发与运维的影响 DataArts Studio建立于对应工作空间物理属性之上的任务开发与运维机制介绍。 不同模式工作空间的优劣势对比 不同工作空间模式的优劣势对比。 企业模式对使用流程的影响 介绍企业模式工作空间下的流程管控。 不同工作空间模式下,DataArts Studio模块对应操作 简单模式仅有生产环境,企业模式有开发环境和生产环境,此部分为您介绍各个环境与DataArts Studio模块的对应关系。
  • 查看工作空间内的数据资产 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用数据地图根据表名直接查看表详情,快速查阅明细信息,掌握使用规则。 血缘:通过数据地图的血缘分析可以查看每个数据表的来源、去向,并查看每个表及字段的加工逻辑。 父主题: 查看工作空间数据地图
  • 背景说明 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。 在主账号创建的DataArts Studio实例中,该账号下的IAM用户如需创建工作空间,需要由主账号给IAM用户赋予DAYU Administrator或Tenant Administrator权限。在子用户创建的DataArts Studio实例中,主账号默认具有该DataArts Studio实例的所有执行权限。 具备DAYU User账号权限的用户,只有当其被添加为工作空间的成员后,才可以访问该工作空间。
  • 创建工作空间 登录RES管理控制台。 您可以通过两种方式创建工作空间,进入“创建工作空间”页面,填写工作空间参数信息。详请参见表1。 在左侧导航栏“当前工作空间”下拉框中选择“创建工作空间”。 图1 创建工作空间 在左侧导航栏单击进入“工作空间”页面。单击“创建”。 表1 参数说明 参数 说明 名称 工作空间名称。例如,工作空间workspace1。 名称不能为空。 名称不超过64个字符,只能由中文、英文字母、数字、下划线、中划线组成,且不能使用任何大小写形式的“default”。 描述 工作空间描述。例如,我的第一个工作空间。 描述不超过256个字符。 企业项目 如果您未开通企业项目,则不会有此参数。 如果您开通了企业项目,可以从下拉选项选择企业项目,并确保该项目处于“已启用”状态。如果您无可选企业项目,则可以通过单击右侧“新建企业项目”进行创建。具体操作请参见创建企业项目。 单击“确定”,完成RES工作空间的创建。 您可以在工作空间列表页面查看创建的工作空间,当显示为“状态正常”时,该工作空间可正常使用。也可以左侧导航栏“当前工作空间”下拉框中选择您需要使用的工作空间。
  • 响应示例 状态码: 200 创建工作空间成功的响应参数。 { "id" : "**d05d1a553b4e188ea878e7dcb85e**", "name" : "test-workspace", "description" : "It is a test project'", "owner" : "testUser", "create_time" : 1470000020000, "update_time" : 1470000030000, "enterprise_project_id" : "***b0091-887f-4839-9929-cbc884f1e***", "enterprise_project_name" : "test-eps", "auth_type" : "public", "status" : "NORMAL", "status_info" : "" }
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 owner String 创建者名称。 auth_type String 授权类型。默认值为PUBLIC。PUBLIC:租户内部公开访问。PRIVATE:仅创建者和主账号可访问。INTERNAL:创建者、主账号、指定IAM子账号可访问,需要与grants参数配合使用。 enterprise_project_id String 企业项目ID。 update_time Integer 最后修改时间,UTC。 create_time Integer 创建时间,UTC。 enterprise_project_name String 企业项目名称。 name String 工作空间名称。 description String 工作空间描述。 id String 工作空间ID,系统生成的32位UUID,不带橫线。 status String 工作空间状态。 CREATE_FAILED:创建失败。 NORMAL:状态正常。 DELETING:正在删除。 DELETE_FAILED:删除失败。 status_info String 状态描述,默认为空。该字段会补充显示状态的详细信息。如删除失败时,可通过该字段查看删除失败的原因。 grants Array of grants objects 授权用户列表。默认为空。需要与“auth_type”参数配合使用,且仅当授权类型为“INTERNAL”时才会生效。 表6 grants 参数 参数类型 描述 user_id String 用户ID,此参数与user_name必填一个。两者都填优先使用user_id。 user_name String IAM用户名称。此参数与user_id必填一个。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 grants 否 Array of grants objects 授权用户列表,默认为空。需要与“auth_type”参数配合使用,且仅当授权类型为“INTERNAL”时才会生效。 auth_type 否 String 授权类型。可选值有PUBLIC、PRIVATE、INTERNAL。默认值为PUBLIC。 PUBLIC:租户内部公开访问。 PRIVATE:仅创建者和主账号可访问。 INTERNAL:创建者、主账号、指定IAM子账号可访问,需要与grants参数配合使用。 enterprise_project_id 否 String 企业项目ID。 name 是 String 工作空间名称。长度限制为4-64字符,支持中文、大小写字母、数字、中划线和下划线。同时'default'为系统预留的默认工作空间名称,用户无法自己创建名为'default'的工作空间。 description 否 String 工作空间描述,默认为空。长度限制为0-256字符。 表4 grants 参数 是否必选 参数类型 描述 user_id 否 String IAM用户ID。此参数与user_name必填一个。两者都填优先使用user_id。 user_name 否 String IAM用户名称。此参数与user_id必填一个。
  • 请求示例 创建工作空间。设置工作空间名称为“test-workspace”,授权类型为“internal”,授权的IAM用户名称为“test”。 POST https://{endpoint}/v1/{project_id}/workspaces { "name" : "test-workspace", "description" : "It is a test project", "enterprise_project_id" : "***b0091-887f-4839-9929-cbc884f1e***", "auth_type" : "internal", "grants" : [ { "user_name" : "test" } ] }
  • 工作空间简介 在使用Octopus自动驾驶云服务之前,如果您想实现资源隔离管理,您可以创建工作空间,实现资源隔离。 default工作空间为系统预置,Public授权类型,无法创建、编辑和删除,默认为主工作空间。 创建不同的工作空间后,您可以在控制台左侧导航栏中,单击“当前工作空间”下方的下拉框,单击工作空间,进入所选工作空间内使用Octopus自动驾驶云服务。 图1 当前工作空间 父主题: 工作空间
  • 响应示例 { "count" : 17, "page_data" : [ { "configs" : { "mode": "0", "worksAuthorized": "0", "worksPublic": "1", "onlyAdminCreateDatasource": "0", "isPin": "1", "fieldShowType": "0", "worksView": "0" }, "create_time" : 1676984980510, "create_user" : "xxxxxx", "description" : "Description workspace information", "domain_id" : "xxxxxxx", "eps_id" : "xxxxxxxxxx", "id" : "xxxxxxxxxxxxx", "instance_id" : "xxxx7d17c41c414dabaa08f47c7dxxxx", "is_default" : 1, "name" : "Example workspace name", "owner_name" : "xxxxxx", "project_id" : "xxxxxxxb4dac4055888643b3xxxxxx", "update_time" : 1687167926377, "update_user" : "xxxxxxxx" } ] }