检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入数据源 概述 在创建采集任务之前，您需要先接入数据源，确保可以正常从数据源采集模型。根据数据源类型的不同，数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源
接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源 接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源
恢复/迁移集成资产概述 业务场景 ROMA Connect支持把实例的应用和任务以资产文件形式导出，也可以把资产文件导入ROMA Connect，实现集成资产的快速恢复或迁移，资产文件的导入导出操作请参见导入导出资产。 资产恢复：从ROMA Connect实例导出集成资产进行数据
目的端数据格式选择“MySQL”，在选择表名后，目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例，该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表，并将结果中的桶名称和对象名称通过数据映射，映射到MySql指定表中的相关字段，然后使用MySql添加记录的
准备工作 在进行集成资产的恢复或迁移前，您需要做如下准备： 准备集成资产包。 获取用于导入的集成资产包。 获取资产包所属源实例的配置信息，仅资产迁移场景需要。 主要包括实例的安全组配置、实例配置参数和数据字典信息。 获取周边系统的对接信息，仅资产迁移场景需要。 系统 数据项 用途 数据源
若ROMA Connect实例跨VPC内网访问数据源时，需要完成实例到数据源所在子网的路由配置。 接入数据源 接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源
MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记录，并将其无缝对接到Oracle数据库中，实现两个数据库之间的高效、准确的数据更新与同步。
兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法，同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 创建DWS连接 登录新版ROMA Connect控制台。 在左侧导航
外开放。 前提条件 ROMA Connect已接入数据源，具体请参考接入数据源。 如果后端服务需要使用签名密钥对请求发送方进行认证，请提前创建签名密钥。 部署并发布后端服务时，如果需要使用自定义认证方式进行API的安全认证，请提前创建自定义认证。 数据源存储的单行数据大小建议不超
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时，采集日志显示数据库和缓存不一致时，可以从数据源和任务的维度，执行同步任务，使数据库和缓存保持一致，解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect，在“实例”页面单
Connect实例的安全组规则要求请参见表2。 修改实例路由信息，仅资产迁移场景需要，否则跳过此步。 在“实例信息”页面的“基本信息”页签下，更改路由信息。 修改实例配置参数，仅资产迁移场景需要，否则跳过此步。 在“实例信息”页面的“配置参数”页签下，根据准备工作中获取的源实例配置参数信息，修改配置参数。
发生异常时对监控部分流程的重试间隔，单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test，将对mysql操作重试一次（间隔两秒），之后终止，不再执行后续流程；若出现运行异常且错误信息中包含error，则不会对mysql操作重试，会进行日志采集，然后继续执行后续Redis
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
定时：支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时：支持MySQL、Oracle、SQL Server。 目标端： 定时：支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时：支持MySQL、Oracle、PostgreSQL、SQL
need_inc_migration 否 Boolean 源端数据是否进行增量迁移。 time_zone 否 String 源端数据进行增量迁移所使用的时区，默认GMT+08:00 reset_incr_begin_time 否 Boolean 源端增量迁移，是否重置增量迁移的开始时间。 compensation_time
Connect提供了常见的数据源连接支持，如关系型数据库、消息队列、API、NoSQL、对象存储等，这些数据源可以直接在ROMA Connect中使用，您只需要接入数据源，创建并启动数据集成任务，就可以将您的源端数据集成到目标端。 如果ROMA Connect支持的数据源类型无法接入您使用的数据源
NMP、IBMMQ类型时需要配置。 数据源为MYSQL、ORACLE、SQLSERVER、DB2、GAUSS100、GaussDB(for MySQL)、ARTEMISMQ、POSTGRESQL、GaussDB、HIVE类型且mode为default时需要配置。 数据源为IMF类
Kafka业务迁移 概述 Kafka业务迁移指将连接其他Kafka的生产与消费消息的客户端切换成连接ROMA Connect，部分还涉及将持久化的消息文件迁移到ROMA Connect上。 在业务迁移过程中，连续性要求高的业务，需要平滑迁移，不能有长时间的中断。 迁移准备 确保消息生产与消费客户端与ROMA
设置数据源类型，可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type：类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
多个数据源编排 一个数据API可以包含多个数据源，因此一次API请求可以涉及多个数据源，例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明，假设数据API有数据源1和数据源2，user01是数据源1的数据表和user02是数据源2的数据表，两张表的结构如下： 表1 表结构
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
