-
数据安全数据搬迁 - 数据治理中心 DataArts Studio
数据安全数据搬迁 当前暂不支持数据安全数据的导入导出,需要您手动同步各项配置数据和任务。 父主题: 跨工作空间的DataArts Studio数据搬迁
-
准备工作 - 数据治理中心 DataArts Studio
景中的原始数据源端。因此在数据导入中,需要在MySQL数据库中预先创建原始数据表。 正式业务流程中,MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集,这种到OBS的数据集成场景无需提前创建表。但MySQL数据库源端数据导入到MRS Hive时,需要在MRS Hive数据库中预先创建标准数据表。
-
华为数据治理实践 - 数据治理中心 DataArts Studio
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
-
管理中心数据搬迁 - 数据治理中心 DataArts Studio
查看导入结果 搬迁后验证 在新空间的资源导入完成后,您可以在新空间查看并验证如下导入资源是否与旧空间一致: 管理中心的数据连接。 数据目录的元数据采集任务,元数据的分类和标签。 数据服务中发布的API。 父主题: 跨工作空间的DataArts Studio数据搬迁
-
数据集成 - 数据治理中心 DataArts Studio
Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 如何处
-
数据地图 - 数据治理中心 DataArts Studio
数据地图 数据地图简介 资产总览 数据目录 标签管理 父主题: 数据目录组件
-
MRS Hive SQL - 数据治理中心 DataArts Studio
系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。
-
新建表/文件迁移作业 - 数据治理中心 DataArts Studio
参见配置Hive目的端参数。 MySQL SQL Server PostgreSQL 支持导入数据到云端的数据库服务。 使用JDBC接口导入数据,参见配置MySQL/SQL Server/PostgreSQL目的端参数。 DWS 支持导入数据到数据仓库 DWS。 参见配置DWS目的端参数。
-
数据密级 - 数据治理中心 DataArts Studio
数据密级 本章主要介绍数据密级管理,包括密级的创建、删除和调整优先级。 只有在创建密级之后,您才可以创建数据分类,进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。
-
实例ID和工作空间ID - 数据治理中心 DataArts Studio
实例ID和工作空间ID 获取DataArts Studio实例ID和工作空间ID DataArts Studio的实例ID和工作空间ID可以从DataArts Studio控制台的URI链接中获取。 在DataArts Studio控制台首页,选择对应工作空间,并点击任一模块,如“管理中心”。
-
管理驱动 - 数据治理中心 DataArts Studio
不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL https://downloads
-
新建数据表 - 数据治理中心 DataArts Studio
STRING); 不同数据源的SQL语法有所差异,开发SQL语句前请预先了解各数据源的语法参考文档。 表3 数据表参数 参数 说明 数据连接类型 数据表所属的数据连接类型。 数据连接 数据表所属的数据连接。 数据库 数据表所属的数据库。 单击“保存”,新建数据表。 相关操作 查看表
-
数据治理模块域 - 数据治理中心 DataArts Studio
数据质量相关的改进计划,持续进行数据质量管控。 数据资产 数据资产包括业务资产、技术资产、指标资产等。数据资产管理是数据治理的重要支撑手段,核心是构建企业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术元数据和操作
-
DataArts Studio的工作空间可以删除吗? - 数据治理中心 DataArts Studio
以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏感数据发现任务,脱敏策略,静态脱敏任务和数据水印任务。 如果当前任意组件内还有业务资源,则删除工作空间会弹出失败提示窗口,无法删除。 登录DataArts Studio控制台,进入“空间管理”页签。
-
案例:搭建实时报警平台 - 数据治理中心 DataArts Studio
目的端:即将存储告警统计报表的RDS MySQL空间,目的连接“mysql_link”需要提前在CDM中创建好。 使用DLF作业开发和作业调度每天定时输出告警统计报表 告警统计报表的脚本(使用DLI SQL脚本开发构建告警报表脚本)和数据迁移的CDM作业(创建CDM作业)创建完成后,我们在数据开发模块
-
配置数据血缘 - 数据治理中心 DataArts Studio
支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据开发的作业中,您可以在数据开发作业节点中,自定义血缘关系的
-
步骤4:元数据采集 - 数据治理中心 DataArts Studio
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择实例,单击“进入
-
为什么关系建模或维度建模修改字段后,数据库中表无变化? - 数据治理中心 DataArts Studio
仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法
-
支持的数据源(2.9.2.200) - 数据治理中心 DataArts Studio
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于
-
新建对账作业 - 数据治理中心 DataArts Studio
作业提交失败。 数据质量当前不支持MRS hive组件的严格模式 。 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选