检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持三种类型:传统的HTTP/H
化源代码静态检查技术积累与企业级应用经验的沉淀之上,为用户提供代码风格、通用质量与网络安全风险等丰富的检查能力,提供全面质量报告、便捷闭环处理问题,帮助企业有效管控代码质量,助力企业成功。 前提条件 使用CodeArts Check前,需要开通CodeArts Check服务。 创建CodeArts
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如果已经超过6小时,通道内的数据已经过
能力。API分为两部分,第一部分为面向API使用者的API接口,定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持的类型:传统的HTTP/HT
端三个方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。
配置目标端数据信息 概述 本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端,包括数据源、数据存储信息等。对于不同的数据源类型,其目标端信息配置有所差异。 数据迁移过程中若目标端数据存在主键冲突,则根据主键自动更新数据。
Connect最佳实践一览表 最佳实践 说明 传统停车场管理系统数字化改造 介绍如何通过ROMA Connect对传统停车场的管理系统进行数字化改造,实现停车场车辆进出、计费、停车位状态的智能化管理。 企业数据以API形式开放共享 介绍如何通过ROMA Connect的服务集成,快速把数据库开放为RESTful
在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。 请检查数据源IP是否为客户自有的数据中心或私有网,如果是请先建立VPN连接。 如何创建VPN连接请参考创建VPN连接。
RabbitMQ RabbitMQ是一个开源的消息队列系统,它实现了高效的消息传递机制,可以在分布式系统中进行消息的异步传递和处理。RabbitMQ基于AMQP(Advanced Message Queuing Protocol)协议,支持多种编程语言,包括Java、Python、Ruby、
业务对接适配和验证 概述 在ROMA Connect实例中完成集成资产的恢复或迁移后,周边对接的业务应用也需要完成相应的对接适配,才能正常处理业务。 业务对接适配 与ROMA Connect对接的业务应用或设备,需要修改如下对接配置。 分类 业务场景 配置数据 服务集成 调用API
item WHERE a >= b+c" 规则引擎还提供多种函数,您可以在编写SQL时使用它们,从而实现多样化数据处理。您可以在SQL语句中,使用函数获取数据或者对数据做处理。例如,SELECT service,abs(temperature),用到了abs(number)函数,具体条件表达式请见表5。
Connect提供的SDK,对API请求进行签名处理。 IAM认证(Token认证):调用侧先获取云服务平台的认证Token,然后把认证Token携带到API请求中。 IAM认证(AK/SK认证):调用侧集成ROMA Connect提供的SDK,对API请求进行签名处理。 自定义后端开发:用户在使用
查看组合应用监控 本章节指导您如何查看组合应用的监控信息。 查看监控 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看监控的组合应用。 在组合应用详情页面,选择“监控”页签。 根据需要,可查看组合应用流任务的“运行监控”、“耗时监控”和“失败次数监控”的监控数据。
在“工作台”页单击“智能助手”,弹出“智能助手”窗口。 在输入框输入想创建的组合应用描述内容,或者单击输入框下面的行为描述语句。 单击带下划线的连接器或处理器,可以在下拉框中替换所需的其它连接器或处理器。 单击键盘的“Enter”键生成组合应用,再单击“应用结果”,生成组合应用。 继续在编辑组合应用画布页面,进行流任务的配置和编排。
Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
维护应用程序和DWS数据库之间的连接,并管理数据的传输。 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容
仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 loop_index 上一个循环处理节点,当前循环的索引,从0开始。 loop_size 上一个循环处理节点的循环总次数。 split_index 上一个数据拆分节点,在数据拆分时当前数据块的索引,从0开始。
配置源端数据信息 概述 本节主要介绍编排任务连接后的连接配置。提供了编排任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型
s Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,如何配置消息发送,如果不需要发送消息可不配置。 前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS