检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为MySQL,目的端为DMS Kafka 本章节适用于配置实时处理集成作业MySQL到DMS Kafka链路,期望将源端1个或多个Mysql实例的数据实时同步到目的端为DMS Kafka数据库的场景。 同步场景 整库:适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DMS
Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时,可以尝试更换版本号。 高于12.1 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的
取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码
版本信息接口 查找版本信息 父主题: 数据架构API
local_infile字符集 MySQL通过local_infile导入数据时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5
defaultVersion String 默认版本。 versions Array of CdmClusterVersion objects 版本。 表5 CdmClusterVersion 参数 参数类型 描述 active String 版本状态。 id String 版本ID。 image String
源端为MySQL,目的端为MRS Hudi 本章节适用于配置实时处理集成作业MySQL到MRS Hudi链路,期望将源端1个或多个MySQL实例的数据实时同步到目的端为MRS Hudi数据库的场景。 MySql源端配置。 支持选择源端多库多表迁移。 DDL支持新增列。 Hudi目的端配置。
Agent功能待下线,无需配置。 - 驱动类名 根据上传驱动选择对应驱动类名。 当前支持postgresql和kingbase8两种驱动类名。 - 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库,需要适配不同的驱动,更多详情请参见如何获取驱动。
逆向数据库(维度建模) 通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。
景。 云数据库 RDS 华为云RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意,DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 MySQL MySQL是目前最受欢迎的开源数据库之一,其
dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
逆向数据库(关系建模) 通过逆向数据库,您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前,请先在DataArts Studio数据目录模块中对数据库进行元数据采集,以便同步数据目录时可以同步成功,否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作,请参见配置元数据采集任务。
配置引用符号,例如"。 数据库包围标识符。对某些数据库意味着大小写敏感,如不需用请置空。 数据源驱动配置 驱动程序名称 是 驱动程序名称: com.mysql.jdbc.Driver:连接RDS for MySQL或MySQL数据源时,选择此驱动程序名称。 org.postgresql.Driver:连接RDS
数据连接Agent版本 MRS/DWS权限管理时必选 CDM集群为2.10.0.300及以上版本。 登录CDM管理控制台,进入“集群管理”,在集群列表中找到所需要的集群,然后单击集群名称,进入集群“基本信息”页面查看集群版本号。 如果非所需版本,请创建最新版本CDM集群或联系客服或技术支持人员。
单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步”配置连接参数,参数说明如表1所示。配置完成后,单击“保存”回到连接管理界面。 表1 MySQL数据库连接参数 参数名
NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
华为FusionInsight解决方案,对应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 GaussDB(for MySQL)、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库 Gemin
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
当前数据连接数据库记录数。 dw_id String 数据连接id。 databases Array of DatabasesList objects 数据库列表。 表5 DatabasesList 参数 参数类型 描述 database_name String 数据库名称。 description
数据架构支持逆向数据库吗? 问题描述 数据架构是否支持逆向数据库。 解决方案 数据架构支持逆向数据库,目前支持基于数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)的数据库逆向。 父主题: 数据架构