-
通过数据质量对比数据迁移前后结果 - 数据治理中心 DataArts Studio
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
-
支持的数据源(2.9.3.300) - 数据治理中心 DataArts Studio
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于
-
数据架构数据搬迁 - 数据治理中心 DataArts Studio
数据架构数据搬迁 数据架构数据搬迁依赖于数据架构的导入导出功能。 约束与限制 导入关系建模表/实体、维度建模维度/事实表、维度建模汇总表前请确保已创建管理中心连接,确保数据连接可用。 数据架构中的时间限定、审核中心和配置中心数据不支持导入导出。如有涉及,请您在其他数据迁移前,先进行手动配置同步。
-
创建企业模式工作空间 - 数据治理中心 DataArts Studio
数据湖服务创建完成后,您需要按照项目规划(例如数据开发需要操作的库表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),使用两套集群资源,两套环境中的数据库、数据库模式(仅DWS需要)和数据表必须保持同名。
-
数据资产guid - 数据治理中心 DataArts Studio
选择“数据地图”或对应工作空间的“数据目录”,进入数据地图或数据目录页面。 图1 选择数据地图或数据目录 按下F12,打开开发者调试工具,然后选择Network功能。 图2 选择Network 在数据地图的“首页”界面或“数据搜索”界面,或者在数据目录的“总览”界面或“数据目录”
-
数据开发数据搬迁 - 数据治理中心 DataArts Studio
数据开发数据搬迁 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出,如有涉及,请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。
-
开发并调度Import GES作业 - 数据治理中心 DataArts Studio
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明
-
数据治理框架 - 数据治理中心 DataArts Studio
数据治理框架 数据治理框架制定如下: 图1 数据治理框架 父主题: 数据治理框架
-
获取工作空间用户角色 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
获取工作空间用户信息 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
添加工作空间用户 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
新建连接 - 数据治理中心 DataArts Studio
数据仓库服务(DWS) 连接数据仓库服务(DWS)时,具体参数请参见配置数据仓库服务(DWS)连接。 SAP HANA 连接SAP HANA时,具体参数请参见配置SAP HANA连接。 达梦数据库 DM 连接达梦数据库时,具体参数请参见配置达梦数据库 DM连接。 MySQL 连接MySQL数据库时,具
-
关系数据库连接 - 数据治理中心 DataArts Studio
关系数据库连接 介绍 通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {
-
任务管理 - 数据治理中心 DataArts Studio
所选数据连接类型中未创建数据连接,请单击“新建”,创建新的数据连接。 数据库 (或数据库和schema、命名空间) 呈现待采集的数据库(或数据库和schema、命名空间)和数据表。 单击数据库(或数据库和schema、命名空间)后的“设置”,设置采集任务扫描的数据库(或数据库和s
-
什么是数据治理中心DataArts Studio - 数据治理中心 DataArts Studio
个数据的处理分析流程。 数据质量 数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知。 数据目录 提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据血缘和数据全景可视,提供数据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台,提供一站式数据服
-
设置工作空间配额 - 数据治理中心 DataArts Studio
Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击“数据服务专享版API配额”中对应配额的“设置”按钮,对已分配配额进行
-
冻结工作空间 - 数据治理中心 DataArts Studio
instance_id 是 String DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。 workspace_id 是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
-
数据服务数据搬迁 - 数据治理中心 DataArts Studio
数据服务数据搬迁 数据服务数据搬迁依赖于管理中心的资源迁移功能,详见管理中心数据搬迁。 父主题: 跨工作空间的DataArts Studio数据搬迁
-
数据目录 - 数据治理中心 DataArts Studio
权。 在未上线数据安全组件的区域,申请权限和授权流程由数据目录组件提供,详见数据表权限(待下线)。 在已上线数据安全组件的区域,申请权限和授权流程由数据安全组件提供。 在已上线数据安全组件的区域,数据表权限功能已由数据安全组件提供,不再作为数据目录组件能力。 数据安全组件当前在上
-
解冻工作空间 - 数据治理中心 DataArts Studio
instance_id 是 String DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。 workspace_id 是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token