检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
如果CDM作业中配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为(数据开发作业计划启动时间-偏移量),而不是(CDM作业实际启动时间-偏移量)。 参数 用户可参考表1,表2和表3配置CDM Job节点的参数。配置血缘关系用以标识数据流向,在数据目录模块中可以查看。
数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle 请参见Oracle数据库迁移时支持的数据类型。 PostgreSQL 请参见PostgreSQL数据库迁移时支持的数据类型。
MRS_SPARK:MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL:POSTGRESQL连接类型的表的数据类型。 CLICKHOUSE:CLICKHOUSE连接类型的表的数据类型。 MYSQL:MYSQL连接类型的表的数据类型。 ORACLE:ORACLE连接类型的表的数据类型。
联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。 在启动Migration作业前务必将DRS作业暂停,避免造成写冲突。 根据查询到的安全位点时间启动Migration作业,设置Migration启动位点时
配置引用符号,例如"。 数据库包围标识符。对某些数据库意味着大小写敏感,如不需用请置空。 数据源驱动配置 驱动程序名称 是 驱动程序名称: com.mysql.jdbc.Driver:连接RDS for MySQL或MySQL数据源时,选择此驱动程序名称。 org.postgresql.Driver:连接RDS
Oracle同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Oracle数据库(10、11、12、19版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要
数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS
在该弹窗中指定已上传的驱动文件。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 单次请求行数 否 可选参数,指定每次请求获取
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据
点将被跳过。 此Demo中使用的EL表达式为“#{Job.getNodeStatus("node_name")}”,这个表达式的作用为获取指定节点的执行状态,成功状态返回success,失败状态返回fail。本例使用中,IF条件表达式分别为: 上面的A分支IF条件表达式为: #{(Job
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群(2.7、3.x版本) Kafka集群(2.7、3.x版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能启动实时同步任务。
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MongoDB数据库(4.0.0及以上版本) DWS集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的端所使用的数据库账号需要满足以下权限要求,才能启动实时同步
查询连接详情(待下线) 连接管理能力由管理中心统一提供,相关接口已不再维护,推荐使用管理中心API进行连接管理。 功能介绍 查询指定连接的配置详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id
待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 自动创表 只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CD
默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。
DataArts Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts Studio
通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务,实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 表1 属性参数 参数 是否必选 说明 节点名称
指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统:DMS Kafka MySQL同步到DMS Kafka作业配置
详见表1。 编码类型 文件的编码类型,默认是UTF-8,中文的编码有时会采用GBK。 如果源端指定该参数,则使用指定的编码类型去解析文件;目的端指定该参数,则写入文件的时候,以指定的编码类型写入。 使用包围符 数据库、NoSQL导出到CSV文件(“使用包围符”在目的端):当源端