数据治理中心 DATAARTS STUDIO-企业模式简介:注意事项
注意事项
- 不同工作空间模式对于 数据湖 引擎存在一定的要求,企业模式工作空间需要分别为开发环境和生产环境进行数据湖引擎配置,才可以实现开发生产环境隔离。配置开发生产环境隔离包含以下三种方式:
图1 配置开发生产环境隔离
- 配置两套数据湖服务,进行开发与生产环境隔离。
对于集群化的数据源(例如 MRS 、DWS、RDS、MySQL、Oracle、DIS、E CS 等), DataArts Studio 通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。
创建数据连接时,通过不同的集群来进行开发与生产环境的隔离,如图2所示。
- 配置 DLI 环境隔离。
对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。
- 配置DB,在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离。
对于DWS、MRS Hive和MRS Spark这三种数据源,如果在创建数据连接时选择同一个集群,如图3所示,则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离,如图4所示。详细操作请参见DB配置。
- 配置两套数据湖服务,进行开发与生产环境隔离。
- 企业模式工作空间下,开发环境的数据开发作业默认不进行调度,仅发布至生产环境后可进行调度。