-
补数据的作业实例都是成功的,为什么补数据任务失败了? - 数据治理中心 DataArts Studio
补数据的作业实例都是成功的,为什么补数据任务失败了? 补数据任务包含了其他工作空间的作业,可以在别的工作空间查看同名补数据任务的作业实例执行(失败)情况。 父主题: 数据开发
-
新建连接 - 数据治理中心 DataArts Studio
数据仓库服务(DWS) 连接数据仓库服务(DWS)时,具体参数请参见配置数据仓库服务(DWS)连接。 SAP HANA 连接SAP HANA时,具体参数请参见配置SAP HANA连接。 达梦数据库 DM 连接达梦数据库时,具体参数请参见配置达梦数据库 DM连接。 MySQL 连接MySQL数据库时,具
-
CDM与其他数据迁移服务有什么区别,如何选择? - 数据治理中心 DataArts Studio
DRS来完成数据迁移。即主流数据库到数据库(含第三方数据库)的场景,使用DRS进行迁移。更多详情请参见数据复制服务。 目前支持的数据库链路有: 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS
-
数据管理流程 - 数据治理中心 DataArts Studio
据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。 数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。 如果是DWS连接,则需要新建数据库模式;否则直接新建数
-
新建数据连接 - 数据治理中心 DataArts Studio
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
-
逻辑模型设计 - 数据治理中心 DataArts Studio
通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到逻辑实体目录中,使其变成逻辑实体。 在数据架构控制台,单击左侧导航树中的“关系建模”,进入关系建模页面,选择一个逻辑实体进入。 在逻辑实体列表上方,单击“逆向数据库”。 在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。
-
如何查看表行数和库大小 - 数据治理中心 DataArts Studio
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
-
开发并调度Import GES作业 - 数据治理中心 DataArts Studio
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。 图1 业务场景说明
-
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息? - 数据治理中心 DataArts Studio
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息? 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。 否,跳转至步骤2。
-
配置作业源端参数 - 数据治理中心 DataArts Studio
配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数 配置SAP HANA源端参数 配置MySQL源端参数 配置Oracle源端参数 配置分库源端参数 配置MongoDB/DDS源端参数
-
新建数据连接 - 数据治理中心 DataArts Studio
RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见配置RDS数据连接。 ORACLE 请参见配置ORACLE数据连接。 DIS
-
物理模型设计 - 数据治理中心 DataArts Studio
建的数据库表导入到物理表目录中,使其变成物理表。 在数据架构控制台,单击左侧导航树中的“关系建模”,进入关系建模页面,选择一个物理表进入。 在物理表的列表上方,单击“逆向数据库”。 在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。 表7 逆向数据库配置 参数名称 说明 *所属主题
-
新建维度 - 数据治理中心 DataArts Studio
同步删除数据库里的物理表。 通过逆向数据库导入维度 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到维度目录中,使其变成维度。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。 在维度列表上方,单击“逆向数据库”。 在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。
-
参考:CDM性能实测数据 - 数据治理中心 DataArts Studio
28752 / RDS(Postgresql) 4U32G(主备模式) Postgresql 13.12 128865 1351351(并发度:30) 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 (行/s) 多并发写入速率 (行/s) 云数据库 MySQL 8U 32G
-
新建表/文件迁移作业 - 数据治理中心 DataArts Studio
Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 从这些数据源导出数据时,CDM使用JDBC接口抽取数据,源端作业参
-
管理连接 - 数据治理中心 DataArts Studio
管理连接 新建连接 管理驱动 管理集群配置 配置OBS连接 配置PostgreSQL/SQLServer连接 配置数据仓库服务(DWS)连接 配置云数据库MySQL/MySQL数据库连接 配置Oracle数据库连接 配置DLI连接 配置Hive连接 配置HBase连接 配置HDFS连接
-
元数据简介 - 数据治理中心 DataArts Studio
Metadata)和业务元数据(Business Metadata)。 技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。在DataArts Studio中,技术元数据即为技术资产,显示数据库、数据表、数据量的数量及其详情。 业务元数据从业务角度描述了数据仓库中的
-
配置DWS源端参数 - 数据治理中心 DataArts Studio
sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明:
-
什么是数据治理中心DataArts Studio - 数据治理中心 DataArts Studio
个数据的处理分析流程。 数据质量 数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知。 数据目录 提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据血缘和数据全景可视,提供数据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台,提供一站式数据服
-
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? - 数据治理中心 DataArts Studio
Cause : 将截断字符串或二进制数据。 原因分析 用户OBS中的数据超出了SQL Server数据库的字段长度限制。 解决方法 在SQL Server数据库中建表时,将数据库字段改大,长度不能小于源端OBS中的数据长度。 父主题: 数据集成