检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在首次执行数据同步期间，建议不要对源端数据库做DDL操作。 如果创建组合任务个数过多，对数据库服务器、FDI插件进程均会产生资源消耗，所以建议对一个数据库，不要创建过多组合任务。 FDI支持单个CDC任务中配置多个Schema下的多个数据库表，实现统一的全量或增量采集能力。 组合任
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持，如关系型数据库、消息队列、API、NoSQL、对象存储等，这些数据源可以直接在ROMA Connect中使用，您只需要接入数据源，创建并启动数据集成任务，就可以将您的源端数据集成到目标端。 如果ROMA Con
{hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例： 图1 默认方式配置示例 专业方式的数据库连接配置示例：
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时，采集日志显示数据库和缓存不一致时，可以从数据源和任务的维度，执行同步任务，使数据库和缓存保持一致，解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect，在“实例”页面单
务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务DRS；对于关系型数据库、大数据、文本等数据迁移到数据湖的场景，建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式（源端）
仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“源端”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“源端”时需要配置。 私钥库文件中私钥对应的密码。 公钥库文件 仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“目标端”时需要配置。
填写DAMENG数据库的JDBC格式连接串，格式：jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
大小，随着实例规格和请求数量、请求体大小、响应体大小变化需要动态向上调整。 消息集成规格 开源兼容性说明：ROMA Connect完全兼容开源社区Kafka 1.1.0、2.7版本，兼容开源Kafka的API，具备原生Kafka的所有消息处理特性。 ROMA Connect实例支
Connect实例开启了MQS的SASL_SSL，客户端向Topic发布和订阅消息时，需要使用授权集成应用的Key和Secret进行安全认证。 连接Topic 在系统中集成开源的Kafka客户端，然后通过客户端提供的命令行向Topic生产和消费消息。 父主题： 消息集成指导
填写MYSQL数据库的JDBC格式连接串，格式：jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的MYSQL数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数
yml:/usr/share/kibana/config/kibana.yml python_elk: # python_image_id为python镜像的镜像ID image: python_image_id restart: always container_name:
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确，导致组合任务启动失败，任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况，如果存在请和数据库管理员沟通后删除乱码表名的表，然后重新启动任务。 父主题： 数据集成组合任务
Studio云服务实例的instanceId。 部署区域 填写DataArts Studio云服务实例的部署region。 登录方式 选择连接数据库模式。 租户：即以华为云账户密码的方式进行连接。 ak/sk：即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。
源数据库重启等操作对组合任务是否有影响？ 在业务使用过程中，Oracle等数据库可能需要扩容、重启等操作，这些操作对组合任务的影响主要包含以下两种： 如果变更中重启耗时较短，组合任务中会重试连接，恢复正常运行任务。 如果变更中重启耗时较长，任务会报错失败，等变更完成，需重启组合任务。
前提条件 设备与ROMA Connect实例一般通过公网互通，请确保ROMA Connect实例已绑定弹性IP。 接入设备 设备可以使用开源Eclipse paho MQTT Client与ROMA Connect进行连接。您也可以使用MQTTX客户端进行设备接入的调测验证。 获取MQTT客户端。
API调用认证开发（IAM认证） 自定义后端开发（函数后端） 自定义后端开发（数据后端） 后端服务签名校验开发 消息集成 消息集成开发场景 MQS连接开发（开源客户端） MQS连接开发（RESTful API） 设备集成 设备集成开发场景 设备集成开发 MQTT协议Topic规范 07 API ROMA
col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。
Kafka 分布式消息服务 Kafka（Distributed Message Service for Kafka，简称Kafka）是一款基于开源社区版Kafka提供的消息队列服务，是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件。 ROMA
等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 迁移结束。 迁移持久化数据 如果需要将原Kafka的已消费数据也迁移到ROMA Connect实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及ROMA Connect实例的生产客户端，将原Kafka所有消息数据迁移到ROMA
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
