检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse数据连接参数说明。 RDS 请参见RDS数据连接参数说明。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见RDS数据连接参数说明。
Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,wk_02表数据经由hive_2作业节点加工又分别生成了wk_03、wk_04和wk_05的表数据。 图1 数据血缘关系示例
PostgreSQL数据源如何手动删除复制槽? 问题描述 PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的d
Oracle数据库连接参数说明 连接Oracle数据库时,连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据
检查源端负载是否已到达源端数据源上限,如Mysql、Oracle、SqlServer数据源,优先查看源端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。 在排除源端负载的情况下,如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGaus
参见配置SAP HANA源端参数。 云数据库 PostgreSQL 云数据库 SQL Server Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。
CDM有哪些优势? 云数据迁移(Cloud Data Migration,简称CDM)服务基于分布式计算框架,利用并行化处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。
单文件传输大小不超过1TB。 数据库迁移通用限制和约束 CDM以批量迁移为主,仅支持有限的数据库增量迁移,不支持数据库实时增量迁移,推荐使用数据复制服务(DRS)来实现数据库增量迁移到RDS。 CDM支持的数据库整库迁移,仅支持数据表迁移,不支持存储过程、触发器、函数、视图等数据库对象迁移。 C
0523) 怎么解决? 迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? 创建Oracle关系型数据库迁移作业时,无法获取模式名怎么处理? MySQL迁移时报错:invalid input
配置目的端作业参数,根据待导入数据的云服务配置对应参数,如表2所示。 表2 目的端作业参数 目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。
回滚内容包括: DLI:数据连接、数据库、资源队列、脚本内容。 DWS:数据连接、数据库、脚本内容。 HIVE:数据连接、数据库、资源队列、脚本内容。 SPARK:数据连接、数据库、脚本内容。 SHELL:主机连接、参数、交互式参数、脚本内容。 RDS:数据连接、数据库、脚本内容。 PRESTO:数据连接、模式、脚本内容。
自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS Oracle->RDS for MySQL ...... DRS与CDM的区别: DRS的目的端为数据库系统,例如MySQL、MongoDB等。
配置源端和目标端参数 源端为MySQL,目的端为MRS Hudi 源端为MySQL,目的端为DMS Kafka 源端为MySQL,目的端为DWS 源端为Apache Kafka,目的端为MRS Kafka 源端为DMS Kafka,目的端为OBS 源端为Oracle,目的端为DWS
文件系统:FTP、SFTP 关系型数据库:RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)、Oracle、GBASE 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP
Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的,无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。
引用码表 选择已创建的码表并选择相应的“码表字段”,这样就可以将码表字段和数据标准相关联。如果未创建码表,请参见新建码表进行创建。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,当引用码表的数据标准被关系建模的业务表关联后,如果表发布成功,系统将会在DataArts
导出码表 Excel导出码表时,码表名称需要限制在32个字符以内。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。 导出码表。 导出码表 在码表列表中,选中所需导出的码表,然后单击“更多 > 导出”。 图10 码表列表 导出码表目录中的所有表 在码表目录树中
对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。 用户可同时添加多个附加字段。 自动建表:单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。 分库分表场景
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 KMS是一种安全、可靠、简单易
DM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。