-
同步API - 数据治理中心 DataArts Studio
单击同步进行开始API同步,同步结果中可以展示同步状态。 图2 同步API 同步API到数据地图 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 图3 选择数据服务 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
-
同步用户 - 数据治理中心 DataArts Studio
一个用户同步任务,因此用户同步任务为DataArts Studio实例级别配置,各工作空间之间数据互通。 前提条件 新建用户同步任务前,已在管理中心创建数据仓库服务(DWS)或MapReduce服务(MRS Ranger)类型的数据连接,请参考新建数据连接。 新建用户同步任务前,
-
元数据实时同步接口(邀测) - 数据治理中心 DataArts Studio
AddColumnEvent添加字段 DropColumnEvent删除字段 AlterTriggerEvent修改触发器 AddTriggerEvent 添加触发器 DropTriggerEvent删除触发器 枚举值: AddForeignKeyEvent AddNotNullConstraintEvent
-
元数据实时同步 - 数据治理中心 DataArts Studio
元数据实时同步 元数据实时同步接口(邀测) 父主题: 数据目录API
-
是否支持同步作业到其他集群? - 数据治理中心 DataArts Studio
是否支持同步作业到其他集群? CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add
-
新建时间限定 - 数据治理中心 DataArts Studio
新建时间限定 原子指标是计算逻辑的标准化定义,时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建,时间限定在业务板块内唯一,并唯一归属于一个来源逻辑表,计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻
-
为什么权限同步到DLI中,会提示权限不够? - 数据治理中心 DataArts Studio
为什么权限同步到DLI中,会提示权限不够? 权限同步到DLI的任务通过云服务委托(dlg_agency)完成,因此需要委托拥有IAM认证服务相关权限,具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限(二者选其一配置即可) IAM权限 系统
-
CDM作业改名后,在数据开发中如何同步? - 数据治理中心 DataArts Studio
CDM作业改名后,在数据开发中如何同步? CDM作业改名后,需要在数据开发作业的CDM节点属性中,重新选择改名后的CDM作业名称。 父主题: 数据开发
-
时间宏变量使用解析 - 数据治理中心 DataArts Studio
支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。 通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数
-
时间宏变量使用解析 - 数据治理中心 DataArts Studio
支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。 通过时间宏变量+定时执行作业,可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数
-
配置HBase/CloudTable目的端参数 - 数据治理中心 DataArts Studio
表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。
-
逆向数据库(关系建模) - 数据治理中心 DataArts Studio
指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见任务管理。 逆向数据库导入表到模型中 在DataArts St
-
管理配置中心 - 数据治理中心 DataArts Studio
业务指标自定义项50条。 主题流程配置 主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级,从上到下分别命名为主题域分组(L1)、主题域(L2)、业务对象(L3)。您可以自定义的主题层级限制在最大7层,最少2层。自定义属性最多可以配置10个。 在DataArts S
-
新建汇总表 - 数据治理中心 DataArts Studio
设置“基本配置”参数: 图2 汇总表基本配置 表1 基本配置参数说明 参数说明 说明 *所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 *表名称 设置表名称。只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。 *表英文名称 设
-
准备工作2:使用前检查checklist - 数据治理中心 DataArts Studio
认情况下无需额外操作。如果默认配置被修改,也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“集群 > 服务 > Ranger > 配置 > 基本配置”,在搜索框中搜索“ranger.usersync.config
-
配置行级访问控制 - 数据治理中心 DataArts Studio
Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。 前提条件 新建DWS行级访问控制策略前,已在管理中心创建数据仓库服务(DWS)类型的数据连接,请参考新建数据连接。DWS数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。
-
数据治理模块域 - 数据治理中心 DataArts Studio
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
-
逆向数据库(维度建模) - 数据治理中心 DataArts Studio
指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见任务管理。 逆向数据库导入表到维度模型中 在DataArts
-
自动建表原理介绍 - 数据治理中心 DataArts Studio
自动建表原理介绍 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS,CDM在DWS上自动建表,会将Oracle的NUMBER(3
-
订阅动态脱敏策略 - 数据治理中心 DataArts Studio
第三方平台的动态脱敏策略需要发布到Kafka消息队列,且消息格式满足要求,详见参考:Kafka消息格式要求。 已在管理中心创建MapReduce服务(MRS Kafka)类型的数据连接,请参考新建数据连接。注意,Kafka应为第三方平台发布消息所在的Kafka,数据连接中的账户要具备kafkaadmin用户组的权限。