检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接模式 选择数据库的连接方式。 默认：使用系统默认方式连接数据库。 专业：使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写DM数据库的JDBC格
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
配置编排任务流程 概述 编排任务，通过可视化UI界面来创建任务，以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能： 通过一个处理器节点实现一个数据源到N个目标端的采集，能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置，简化流程。 编排模式的数据转换模
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
数据。 源端为Oracle的配置与MySQL的类似，配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为“定时”时，可以选择PostgreSQL作为源端数据源，具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
填写DAMENG数据库的JDBC格式连接串，格式：jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本（Broker），可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。 用户名/应用Key
OPENGAUSS：GaussDB数据源 MYSQL：MySQL数据源 ORACLE：Oracle数据源 POSTGRESQL：PostgreSQL数据源 SQLSERVER：SQL Server数据源 TAURUS：GAUSSDB(FOR MYSQL)数据源 DIS：DIS数据源 DWS：DWS数据源
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
间可以协定使用Kafka通信协议，那么MQS可以作为消息中转站，提供安全、可靠的消息传输通道。企业创建多个topic，设置每个合作伙伴订阅topic的权限，然后将消息发布到多个topic中。合作伙伴通过订阅topic，获取topic内的消息。 表3 MQS功能 功能 简介 原生Kafka基础功能
函数工作流服务具有强大的数据处理能力，可应用于多种场景。其中一个使用场景为，当使用“数据源类型组件”从数据库（如MySQL）中查询数据时，对于BLOB等类型的数据（如图片），最终查询到的结果为byte数组形式。此时可以使用函数工作流服务，对从数据库查询到的数据做进一步处理，如进行Base64编码等。
函数后端脚本开发说明 开发说明 函数后端通过编写函数脚本实现将多个服务封装成一个服务，在实际开发前请务必提前了解自定义后端开发要求。 函数后端当前仅支持使用JavaScript编写函数，JavaScript引擎运行于Java虚拟机，可调用ROMA Connect提供的Java类实现具体功能。
Connect的网络互通。 若通过公网互通，ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 函数API支持的数据源请参见服务集成支持的数据源。 准备一个可用的独立域名，用于作为API的访问域名。 确保已完成独立域名到“服务集成APIC连
Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字，否则可能导致任务运行异常。 若目标端数据类型为MRS Hive时，如果要配置分区字段写入，请参见MRS Hive分区字段映射配置说明。
开发场景 场景说明 如果ROMA Connect支持的数据源类型无法接入您使用的数据源，您可以自行开发一个数据源插件，用于实现对数据源的读写。 同时，这个数据源插件以标准RESTful接口形式供ROMA Connect接入，最终实现ROMA Connect对数据源的读写。 这个数
return obj; } 数据库字段涉及多层json解析。 如果源端数据对象包含的字段涉及多层json对象嵌套，则需要对每一个解析出来的字段使用“[]”引用。 例如如下脚本表示root字段包含id、name、double等多层对象嵌套，则每一个解析的字段需要单独引用。 function
间灵活、快速的数据集成和转换，成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同，当一个业务系统需要获取另一个业务系统的某些数据时，就会出现获取的数据内容不符合要求，无法直接与自己数据结合使用等问题，不同业务系统间的数据共用难度大，效率低，影响业务发展。
0-SNAPSHOT.jar & 以MQS数据源作为源端，MySQL作为目标端为例创建实时任务。 参考创建数据集成任务（普通任务）接入源端MQS数据源和目标端MySQL数据源，并创建实时任务。完成后运行任务，可以将源端MQS数据源中的数据，迁移到MySQL数据源的表中。 父主题： 数据集成开发指导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
