检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
比如企业中不同业务系统数据的存储格式、存储位置各不相同，当一个业务系统需要获取另一个业务系统的某些数据时，就会出现获取的数据内容不符合要求，无法直接与自己数据结合使用等问题，不同业务系统间的数据共用难度大，效率低，影响业务发展。 解决方案 数据集成FDI是ROMA Connect的
Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。
配置参数 以下配置等价于使用命令ZADD key score member，可以向有序集合中添加元素，其中key是有序集合的名称，score是元素的分数，member是元素的成员值，含义为向有序集合myset中添加元素“apple”，其分数为3。 参数 说明 有序集合 zadd zrem
Object... prepareValue) 执行SQL语句、存储过程或NOSQL查询语句 方法详情 public Object execute(String sql, Object... prepareValue) 执行SQL语句、存储过程或NOSQL查询语句 输入参数 prepareV
Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。
CacheUtils类说明 路径 com.huawei.livedata.lambdaservice.util.CacheUtils 说明 提供缓存的存储和查询功能。 使用示例 在使用CacheUtils之前，需要new一个新对象方可调用。 CacheUtils的get方法只允许使用白名单里的几项作为键：
创建Topic 概述 创建用于存储消息的Topic，供消息生产方发布消息和供消息消费方订阅消息。 前提条件 每个Topic都要归属到某个集成应用下，在创建Topic前您需要有可用的集成应用，否则请提前创建集成应用。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击
配置索引生命周期策略（可选） ElasticSearch存储的数据，默认未设置过期时间，用户可根据磁盘空间情况，为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址：IP:Port 其中，IP为ELK所部署服务器的IP；
查看消息内容 概述 ROMA Connect提供了可视化的消息查询功能，可在控制台界面查看Topic中存储的消息数据，可以更直观方便的查看消息正文。 同一时间只能查询一个Topic的消息。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。
的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下，待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时，每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型，可选择“文本文件”。
服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 通常在调用AP
e和Kafka作为数据集成任务的源端和目标端。 对象存储服务 对象存储服务（Object Storage Service，简称OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，可供用户存储任意类型和大小的数据。 ROMA Connect可以
ID 填写OBS桶拥有者的AK，具体获取方式请参考什么是我的凭证。 Secret Access Key 填写OBS桶拥有者的SK，具体获取方式请参考什么是我的凭证。 桶名称 填写要接入的OBS桶名称。 是否是https 固定为“是”，使用HTTPS传输协议。 OBS数据源的接入配置示例如下图所示。
数据集成到目标端的一个数据表中。 数据集成任务的配置分为任务基本信息、制定计划（可选）、源端信息、目标端信息、Mapping信息和异常数据存储（可选）、任务完成后执行（可选）几个部分，本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。
如果后端服务需要使用签名密钥对请求发送方进行认证，请提前创建签名密钥。 部署并发布后端服务时，如果需要使用自定义认证方式进行API的安全认证，请提前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB，若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时，如果该数据的小数位精度超过6
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持，如关系型数据库、消息队列、API、NoSQL、对象存储等，这些数据源可以直接在ROMA Connect中使用，您只需要接入数据源，创建并启动数据集成任务，就可以将您的源端数据集成到目标端。 如果ROMA Con
创建数据后端 概述 ROMA Connect支持把数据源定义为后端服务，实现从数据源中读写数据，并以API的形式对外开放。 约束与限制 数据源存储的单行数据大小建议不超过2KB，若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时，如果该数据的小数位精度超过6
的信号，则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时，消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后，进行消费并记录消费成功或失败的状态，并将消费状态提交到ROMA
数据库之间的连接，并管理数据的传输。 MySQL是一个流行的开源关系型数据库，广泛用于Web应用程序的后端。它支持多种操作系统，包括Windows、Linux、Unix和macOS X。MySQL以其高性能、可靠性和灵活性而闻名，是许多企业和开发人员的首选数据库。 MySQL默认
支持消息数据高可靠 支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 使用流程 使用ROMA Connect进行消息集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 创建Topic 创建用于存储消息的Topic，供消息生产方发布消息和供消息消费方订阅消息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
