检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件 不支持采集二进制类型的字段,例如:T
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 g
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
status String 作业状态。 RUNNING : 作业正在执行。 SUCCEEDED : 作业执行成功,对于导出作业,用户可以通过archive_id来下载资产包。 FAILED : 作业执行失败,通过reason字段查看具体错误原因。 reason Array of AssetJobReason
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 g
CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 不支持采集二进制类型的字段,例如:BINARY,VARBINARY,IMAGE。
onInsight_LibrA_V300R001C00 HANA 1.0 HIVE 2.3.2 MongoDB 3.4 MySQL 5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11.2g(不推荐)、12.1g(不推荐)、12
Connect提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 父主题: 使用前必读
文件大小不超过200M。 MRS数据源类型 只支持对接开启了kerberos认证的MRS集群。 只支持结构化数据。 MRS Hive数据源类型 Hive读写文件格式只支持rcfile和textfile类型。 MRS Hive作为源端最大只支持100万数据量表的同步。 API数据源类型
若检测到新增数据,则将其集成到目标端。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 任务列表中的“开
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
该参数仅在编辑FDI任务时可配置。 选择是否开启重置迁移时间初始值。 开启:开启后,增量迁移时每次调度时开始的时间为时间戳初始值配置的时间。 关闭:关闭时,增量迁移时每次调度的开始时间为上一次调度的结束时间。 时间补偿(毫秒) 仅当“是否增量迁移”选择开启时需要配置。 为了避免源端生成数据时存在滞后,导致ROMA
构造请求 本节介绍REST API请求的组成,并以调用IAM的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 请求URI 请求URI由如下部分组成。 {URI-scheme}://{Endpoint}/{resource-path}
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 父主题: 如何调用API
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 g
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 g
填写对该适配器的描述内容。 数据源分组 选择BIGDATA/DB/FILE/AKSK,一般选择DB 适配器类型 若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQ
Connect会把这三种符号删除,然后再把数据写入MRS Hive。 表17 目标端MRS Hive信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS Hive数据源所属的集成应用,在接入数据源时已配置。
Connect通过创建负载通道,可访问同一VPC内的弹性云服务器(ECS),并把弹性云服务器中已部署的后端服务用于API开放。另外负载通道还可以实现后端服务访问的负载均衡功能。 生产者 生产者为向消息主题(Topic)发布消息的一方,发布消息的最终目的在于将消息内容传递给其他系统,使对方能按照约定处理该消息。