检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在首次执行数据同步期间，建议不要对源端数据库做DDL操作。 如果创建组合任务个数过多，对数据库服务器、FDI插件进程均会产生资源消耗，所以建议对一个数据库，不要创建过多组合任务。 FDI支持单个CDC任务中配置多个Schema下的多个数据库表，实现统一的全量或增量采集能力。 组合任
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持，如关系型数据库、消息队列、API、NoSQL、对象存储等，这些数据源可以直接在ROMA Connect中使用，您只需要接入数据源，创建并启动数据集成任务，就可以将您的源端数据集成到目标端。 如果ROMA Con
{hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。 默认方式的数据库连接配置示例： 图1 默认方式配置示例 专业方式的数据库连接配置示例：
务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务DRS；对于关系型数据库、大数据、文本等数据迁移到数据湖的场景，建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式（源端）
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时，采集日志显示数据库和缓存不一致时，可以从数据源和任务的维度，执行同步任务，使数据库和缓存保持一致，解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect，在“实例”页面单
仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“源端”时需要配置。 私钥库文件对应的密码。 私钥库私钥密码 仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“源端”时需要配置。 私钥库文件中私钥对应的密码。 公钥库文件 仅当“是否开启SSL认证”选择“是”且“数据源方向”选择“目标端”时需要配置。
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
填写DAMENG数据库的JDBC格式连接串，格式：jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据
大小，随着实例规格和请求数量、请求体大小、响应体大小变化需要动态向上调整。 消息集成规格 开源兼容性说明：ROMA Connect完全兼容开源社区Kafka 1.1.0、2.7版本，兼容开源Kafka的API，具备原生Kafka的所有消息处理特性。 ROMA Connect实例支
Connect实例开启了MQS的SASL_SSL，客户端向Topic发布和订阅消息时，需要使用授权集成应用的Key和Secret进行安全认证。 连接Topic 在系统中集成开源的Kafka客户端，然后通过客户端提供的命令行向Topic生产和消费消息。 父主题： 消息集成指导
yml:/usr/share/kibana/config/kibana.yml python_elk: # python_image_id为python镜像的镜像ID image: python_image_id restart: always container_name:
填写MYSQL数据库的JDBC格式连接串，格式：jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的MYSQL数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数
Studio云服务实例的instanceId。 部署区域 填写DataArts Studio云服务实例的部署region。 登录方式 选择连接数据库模式。 租户：即以华为云账户密码的方式进行连接。 ak/sk：即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确，导致组合任务启动失败，任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况，如果存在请和数据库管理员沟通后删除乱码表名的表，然后重新启动任务。 父主题： 数据集成组合任务
源数据库重启等操作对组合任务是否有影响？ 在业务使用过程中，Oracle等数据库可能需要扩容、重启等操作，这些操作对组合任务的影响主要包含以下两种： 如果变更中重启耗时较短，组合任务中会重试连接，恢复正常运行任务。 如果变更中重启耗时较长，任务会报错失败，等变更完成，需重启组合任务。
前提条件 设备与ROMA Connect实例一般通过公网互通，请确保ROMA Connect实例已绑定弹性IP。 接入设备 设备可以使用开源Eclipse paho MQTT Client与ROMA Connect进行连接。您也可以使用MQTTX客户端进行设备接入的调测验证。 获取MQTT客户端。
API调用认证开发（IAM认证） 自定义后端开发（函数后端） 自定义后端开发（数据后端） 后端服务签名校验开发 消息集成 消息集成开发场景 MQS连接开发（开源客户端） MQS连接开发（RESTful API） 设备集成 设备集成开发场景 设备集成开发 MQTT协议Topic规范 07 API ROMA
Kafka 分布式消息服务 Kafka（Distributed Message Service for Kafka，简称Kafka）是一款基于开源社区版Kafka提供的消息队列服务，是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件。 ROMA
col02 | equal | A”表示只集成列col02中，值为“A”的数据行。 扩展元数据 仅当“插入SQL”选择不开启时需要配置。 当数据库中某个字段的值为JSON格式，且需要采集该JSON格式值中的底层key-value型数据元素时需要配置。 字段名：选择源表中需要采集子元素的数据字段名称。
等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 迁移结束。 迁移持久化数据 如果需要将原Kafka的已消费数据也迁移到ROMA Connect实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及ROMA Connect实例的生产客户端，将原Kafka所有消息数据迁移到ROMA
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
