检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务使用介绍 功能简介 消息集成MQS是ROMA Connect的消息集成组件,使用统一的消息接入机制,提供跨网络访问的安全、标准化消息通道。使用ROMA Connect进行消息集成,有如下优势: 支持原生Kafka特性 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。
输,安全性更高。以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具和客户端证书。 进入文件压缩包所在的目录,然后执行以下命令解压文件。 解压命令行工具文件: tar -zxf kafka_tar 其中,kafka_tar为Kafka命令行工具压缩包的名称。 解压客户端证书文件:
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
Windows系统下证书路径中必须使用“/”。 在命令行窗口执行以下命令进入Kafka命令行工具的目录。 d: cd kafka_2.11-1.1.0\bin\windows 向ROMA Connect生产消息。 执行以下命令,与Topic建立生产消息的连接。 ROMA Con
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
配置实例访问公网 RCU实例网络出公网走租户VPC,网络的公网访问需要租户自行配置,RCU实例访问公网需要为租户VPC开通NAT网关。 操作步骤 查看RCU实例信息,查看实例的VPC和子网。 购买公网NAT网关,VPC和子网选择实例所在的VPC及子网,其他根据业务需求配置。 图1
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
通过函数API开放数据 前提条件 确保业务系统所在网络与ROMA Connect的网络互通。 若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 函数API支持的数据源请参见服务集成支持的数据源。 准备一
l接口均需要您自行开发,您可以自行选择开发语言进行连接器开发。 连接器开发完成后,您需要自行部署连接器,并确保连接器所在网络与ROMA Connect所在网络互通。 父主题: 开发说明
开启日志归档功能需重启数据库,重启期间将导致业务中断,请谨慎操作。 归档日志会占用较多的磁盘空间,若磁盘空间满了会影响业务,请定期清理过期归档日志。 Oracle为非CDB数据库时的配置 建议由数据库管理员进行CDC功能的配置操作。 开启日志归档。 在命令行工具中执行以下命令以sys用户连接到数据库。
当前仅可选x86_64。 私有网络地址 站点实例的负载均衡器的入口浮动IP,请根据实际规划填写。使用内置LB时,请将浮动IP绑定的两台虚拟机纳管为前两个边缘节点。 网卡名称 填写网卡名称,请根据边缘节点网卡名称实际情况填写,默认使用eth0。所有边缘节点网卡名称请保持一致。 可使用ip a命令查看具体的网卡。
分配的域名一致,如果域名错误,会导致调用API失败。 不同VPC之间调用API失败时,请检查两个VPC的网络是否互通。如果不通,可以通过创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问实例。 关于创建和使用VPC对等连接,请参考VPC对等连接说明。 公网调用API失败时,可能的原因如下:
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区有业务的用户,可
配置系统间数据集成 前提条件 确保业务系统数据库所在网络与ROMA Connect的网络互通。 若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保源端和目标端业务系统的数据库为ROMA Connect支持的数据源类型 数据集成支持的数据源请参见数据集成支持的数据源。
Connect实例的消息集成MQS连接地址。 重启生产业务,使得生产者将新的消息发送到ROMA Connect实例中。 观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为ROMA Connect实例的消息集成MQS连接地址。 重启消费业务,使得消费者从ROMA
c中设置。 执行以下命令退出数据库连接。 exit; Oracle为CDB数据库时的配置 建议由数据库管理员进行CDC功能的配置操作。 开启日志归档和XStream。 在命令行工具中执行以下命令以sys用户连接到数据库。 在实际使用过程中,可以有多种方式连接数据库,此处以命令行方式为例进行说明。
NoSQL(MongoDB、Redis等)兼容的原生命令 Redis数据源支持的命令: GET、HGET、HGETALL、LRANGE、SMEMBERS、ZRANGE、ZREVRANGE、SET、LPUSH、SADD、ZADD、HMSET、DEL MongoDB数据源支持的命令: find NoSQL样例
Connect设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况,用户除了做好消息生产与消费的确认,还需要配合ROMA Connect完成消息发送与消费的重复传输设计。
executes failed.Writer data to kafka failed”错误 原因分析 目标端数据源为公网Kafka时,由于网络原因导致定时任务报“The task executes failed.Writer data to kafka failed”错误。 解决方案
|_ docker-compose.yml |_ filebeat.yml 登录SHUBAO组件所在节点,切换root用户,执行以下命令创建Filebeat相关目录和配置文件。 用户可自定义配置文件所在路径,此处以在根目录下创建filebeat目录为例进行说明。 mkdir