云服务器内容精选

  • SQL查询样例(update、insert等命令类似) 带参数查询 指把后端服务请求中携带的参数(Headers、Parameters或者Body参数)传递给SQL,为SQL语句提供灵活的条件查询或数据处理能力。 GET、DELETE方法的API,从请求URL中获取参数。 POST、PUT方法的API,从Body中获取参数。注意:Body体为application/x-www-form-urlencoded格式。 select * from table01 where 1=1 and col01 = ${param01}; 可选参数查询 select * from table01 where 1=1 [and col01 = ${param01}] [and col02 = ${param02}] IN查询 select * from table01 where 1=1 and col01 in ('${param01}','${param02}'); UNION查询 默认删除重复数据,如需返回全部数据,使用关键字:union all select * from table01 union [all | distinct] select * from table02; 嵌套查询 select * from table01 where 1=1 and col01 in (select col02 from table02 where col03 is not null);
  • 数据后端与各数据库的SQL语法差异 如果需要把后端服务请求中携带的参数传递给SQL,使用${参数名}的方式传递,其中String类型的参数需要用单引号括起来,int类型的参数则不需要。 如以下示例,name为String类型参数,id为int类型参数。 select * from table01 where name='${name}' and id=${id} 参数可以在后端服务请求的Headers、Parameters或者Body中传递。 如果SQL中的字符串含关键字,需要对字符串转义。 如某个字段名为delete,则SQL需要按如下格式写: select `delete` from table01 如果配置数据后端时勾选了“预编译”,在使用传入的参数进行模糊匹配查询时,若匹配字段中带有字符“%”,则需要使用concat函数进行拼接。 如以下示例,name为String类型参数。 select * from table01 where name like concat('%',${name}) 若数据源开启了“预编译”,且在SQL语句中同时引用多种数据类型的后端请求参数时,系统会默认把传入的参数转换为String类型。因此在执行SQL语句时,需要调用相应的函数对非String类型参数进行数据类型转换。 以上面的name(String类型)和id(int类型)参数为例,在同时传入SQL语句时,id参数会被转换为String类型,需要在SQL语句中,使用转换函数把id参数再转换回int类型。此处以cast()函数为例,不同数据库使用的转换函数会有所不同。 select * from table01 where name='${name}' and id=cast('${id}' as int)
  • 组合应用 ROMA Connect可通过组合应用进行应用的复合集成,通过开放的API和事件通道进行应用的多次组装,形成新的组合应用,实现业务快速复制创新,形成千人千面的集成体验。内置海量连接器,提供各种数据库、API、消息、SaaS应用等的连接器封装。同时提供自定义连接器框架,可快速按需扩展定制;提供丰富的预置组合应用集成模板和生态连接器,联合各行各业的伙伴积累行业资产,开箱即用。 表5 组合应用功能 功能 简介 组合应用 在画布页面对各种触发器、连接器、处理器进行编排和配置,组合成新的组合应用。 智能助手 智能助手通过NLP (Natural Language Processing) 机器学习,理解用户输入的集成业务需求,匹配系统支持的触发器、连接器和数据处理器,生成组合应用。可以对生成的组合应用进一步配置和编排,最后构建,部署上线。 组合应用模板 提供丰富的预置组合应用集成模板,帮助用户快速便捷的创建组合应用。 引用变量 用户在编辑设计组合应用时,可以通过变量的方式快速引用流任务中的输入输出信息和配置信息,帮助用户便捷高效的设计组合应用。 在线调试 创建组合应用和工作流并配置完成后,可对工作流进行在线调试,实时查看各个节点的运行信息,便于后续对工作流进行调整以满足业务需求。 监控统计 提供组合应用运行记录、系统日志、运行监控等监控信息统计。
  • FDI 快速数据集成FDI(Fast Data Integration,简称FDI)是ROMA Connect的数据集成组件。FDI支持多种数据源(文本、消息、API、关系型数据和非关系型数据等)之间的灵活、快速、无侵入式的数据集成,可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。 例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。 表1 FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。 如果服务意外中断 ,修复服务之后FDI支持自动修复任务。 支持任务调度、任务监控、任务中断续读。 可靠的数据传输通道 FDI可以持续监测数据通道中的数据,支持100个以上的线程并发执行。FDI实时监测消息队列把数据实时写入目标队列。 任务调度 FDI提供全面、灵活、高可用的任务调度服务,支持通过API或以消息方式进行数据集成。按照时间、数据数量等任务触发规则来调度任务。根据任务配置,为插件分配任务,并监控和记录任务的执行状态。 企业根据不同的业务需求,可以选择不同的数据集成方式: 实时增量集成适用于需要实时监控数据变化的业务场景,例如收集生产线上设备的实时参数。 实时全量集成适用于需要实时监控所有历史数据的业务场景,例如统计供应商合作伙伴的出货量。 定时增量集成适用于监控一段时间内数据变化的业务场景,例如企业采用新的生产策略后,验证生产效率是否达到预期效果。 定时全量集成适用于监控一段时间内所有历史数据的业务场景,例如统计上下班高峰期内出入园区的车辆数目。 监控告警 对创建的数据集成任务的运行情况进行监控,并对异常的任务进行处理,保证业务正常运行。
  • APIC 服务集成APIC(API Connect,简称APIC)是ROMA Connect的API集成组件。APIC将数据和后端服务以API形式开放,简化分享数据或提供服务的过程,降低企业之间对接的成本。APIC提供不同语言的SDK和示例代码,简化企业以API形式开放后端服务的过程。 例如集团与各地区子公司的IT系统集成,直接访问对方各类数据库方式过于复杂,且容易发生信息泄露风险,如果以API方式互相开放访问,同时加强API调用安全防护,就能实现跨网络跨地域协同办公。 表2 APIC功能 功能 简介 API生命周期管理 APIC提供包括API的创建、发布、下线和删除的完整生命周期管理功能。 便捷调试工具 APIC提供页面调试工具,简化API开发,降低API的维护成本。 版本管理 一个API可以发布不同的版本到不同的环境,以满足业务版本升级等需求。 流量控制 用于管控API的请求频率、用户的请求频率和应用的请求频率。 流量控制的时间单位可以是秒、分钟、小时或天。允许设置特殊的应用,不受到流量控制策略的影响。 监控统计 提供实时、可视化的API监控,包括:API请求次数、API调用错误信息。 环境变量 当API发布到不同环境时,一般通过在API调用的请求头增加指定的头部参数及特殊取值区分不同的环境。发布过程中变量标识会根据环境的变量值进行替换,保证API本身定义不变。 自定义后端 包括自定义Data API与自定义Function API。 自定义Data API指企业将数据库作为API后端服务接入APIC,将数据服务能力转换为REST接口的能力。 自定义Function API,类似简化版的函数服务,在APIC后端编写自定义脚本或函数,作为API后端服务,供前端统一调用。
  • MQS 消息集成(Message Queue Service,简称MQS)是ROMA Connect的消息集成组件。MQS支持Kafka协议,使用统一的消息接入机制,为企业提供跨网络访问的安全、标准化消息通道。 例如企业与合作伙伴使用的消息系统不一样,消息系统对接成本较高,而且难以保证对接之后消息传输的可靠性和安全性。企业之间可以约定使用Kafka通信协议,那么MQS可以作为消息中转站,提供安全、可靠的消息传输通道。企业创建多个topic,设置每个合作伙伴订阅topic的权限,然后将消息发布到多个topic中。合作伙伴通过订阅topic,获取topic内的消息。 表3 MQS功能 功能 简介 原生Kafka基础功能 MQS除了支持客户端连接后管理Topic和发布订阅消息,还支持在ROMA Connect控制台可视化操作,包括Topic创建和管理、用户管理与权限设置、消息查询等功能。 监控报警 MQS从实例、节点、Topic、消费组等多个维度,设立了不同监控指标,数据上报 云监控服务 ,企业可以在 云监控 服务的管理控制台查看相关监控数据。MQS支持企业配置告警规则,轻松实现监控数据概览与异常告警。 消息查看 MQS提供了可视化的消息查询功能,可在界面查看Topic中存储的消息数据,可以更直观方便的查看消息正文。
  • LINK 设备集成(LINK)是ROMA Connect的设备集成组件。设备集成使用MQTT标准协议连接设备,帮助企业快速、简单地实现设备云端管理。 例如工业场景中,设备的信息和生产过程中的参数比较分散。生产线出现故障时,如果靠人工采集每一台设备的信息与参数,定位问题的过程缓慢。设备集成能够连接设备和IT系统、大数据平台,将设备的运行状态等信息上传到IT系统或大数据平台,实现所有设备的信息可视化,一旦生产线出现故障,企业能够快速定位问题。通过配置LINK的规则引擎,把设备参数的极限值输入到设备引擎里面,如果设备的实时参数一直在向极限值接近,就发出告警信息,提醒用户停止设备,对设备进行维护和保养。 表4 LINK功能 功能 简介 发布和订阅消息 LINK支持标准的MQTT协议,企业可以使用开源的标准MQTT设备端SDK将设备轻松接入云端,进行消息的发布和订阅。 实现设备与后端各应用的消息互通 用户可以在控制台配置规则引擎实现设备与其他设备、后端、其他云服务的消息互通。 LINK支持规则引擎转发数据到消息集成MQS。第三方服务通过MQS服务获取数据,实现设备与第三方服务的异步消息通信。 支持海量设备低延时接入 LINK支持Broker水平扩展,支持百万设备长连接。 支持设备与应用之间的双向同步 LINK支持物模型定义,模型与设备影子绑定。用户可以基于设备影子实现设备与应用之间配置数据、状态数据的双向同步。 一方面,用户可以通过API将配置参数设置到设备影子里,设备在线或上线时,都可以从设备影子获取配置参数。另一方面,设备可以将最新状态上报到设备影子。用户查询设备状态时,只需查询设备影子,而不必与设备进行直接网络通信。 保证信息传输的安全 LINK提供设备、应用授权认证及Topic的双向绑定授权,保障设备安全与唯一性,提供TLS标准的数据传输通道保障消息传输通道的安全。
  • 集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同,具体每RCU对应的集成能力规格如表2所示。 以下性能数据根据实验室环境测出,与真实业务场景可能存在差异。 数据集成中,消息类数据&非消息类数据任务数不随RCU值变化,开启后固定1000个。 表2 集成能力规格说明 集成能力 RCU分配指标 规格指标/RCU 最小分配RCU 最小调整RCU步长 组合应用(流运行) 运行中的Flow任务数量 30条 2 1 服务集成(API管理) API转发 1000TPS 2 1 托管API数量 100个 服务集成(数据API/函数API) 数据API/函数API转发 100TPS 2 1 自定义后端数量 50个 API流量 0.24Mbps 数据集成 非消息类数据流量 约2MBps,单任务最大4MBps 4 2 消息类数据流量 约5MBps,单任务最大10MBps 消息集成 消息流量 30MBps 3 1(仅支持调大RCU值,不支持缩小) 磁盘 500G 分区数 250个 设备集成 在线设备数 10000个 2 1 设备消息并发量 2500TPS 消息集成规格在以下条件中测试得出: 连接方式:内网连接 认证方式:SASL_SSL 数据大小:1KB/10KB 磁盘类型:超高I/O SSD 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于4000 认证方式:无认证 回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms 后端类型:Livedata 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于400 认证方式:无认证 返回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms
  • 推荐实例规格 使用新版ROMA Connect推荐的规格如下。 表1 推荐规格 支持的系统数 预估RCU个数 使用建议 5个以下 5个 一般用于小型企业 5~10个 20个 一般用于小型企业 10~20个 40个 一般用于中小型企业 20~30个 80个 一般用于中大型企业 30个以上 150个 一般用于大型企业 RCU个数和系统数仅用于ROMA Connect实例的规格选择参考,实际可创建的资源数量(如组合应用流数量、API数量和消息Topic数量)请参见配额限制。为了保证ROMA Connect的使用性能,请在规格范围内创建和使用资源。 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 RCU说明:(ROMA Compute Unit)即ROMA计算单元,为新版ROMA Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 注意,每种集成能力有不同的起步RCU数量和步长。
  • 设备集成 表4 LINK约束与限制 功能模块 约束与限制 设备上报消息大小限制上限 不超过512KB。 命令下发消息大小限制上限 设备导入导出支持的文件类型 只支持csv文件。 产品导入导出支持的文件类型 规则导入导出支持的文件类型 设备导入文件大小限制上限 上限为200M。 产品导入文件大小限制上限 规则导入文件大小限制上限 服务端MQTT QoS等级限制 只支持QoS0、QoS1,不支持QoS2。 Modbus设备使用限制 Modbus设备不支持命令下发。 设备接入协议限制 只支持MQTT、OpcUA、Modbus协议。
  • 服务集成 表2 APIC约束与限制 功能模块 约束与限制 DataAPI响应体大小 DataAPI返回数据Body不能大于10M。 DataAPI返回数据条数数量 DataAPI默认从数据库拉取的条数为2000条,如果条数超过2000条,超出部分将无法返回。 DataAPI结果分页限制 DataAPI开启结果分页之后,Total数量最大为2000条,即请求单次能够拉取的数据量。 自定义后端Header限制 自定义后端Header不支持中文。 X-Apig-Mode已经被使用,不建议业务使用。 托管API透传请求大小限制 托管API的请求体大小不能大于2G。 函数API HttpClient 请求超时限制 最大超时时间30s,不支持设置。 跨域请求 Option的预请求如果用IP访问,则不能映射ROMA Connect入口IP,如果需要映射入口IP,则需要用 域名 访问。 签名认证时请求体大小 请求体大小可以在实例配置参数中配置(1-9536 M),但是APP认证签名开发时,只能签12M,如果请求体大于12M,签名会失败。 沙箱内存计算功能 APIC的沙箱内存大小的计算是因为JVM底层机制的缘故,无法精确计算,而是一个近似值。 资源新增与修改 新增或修改的APIC资源存在数据同步延迟,需要5-10秒才生效。
  • 数据集成 表1 FDI约束与限制 功能模块 约束与限制 数据同步 支持同步的单条数据最大为8M。 时间格式的字段支持的最大精度为秒级别。 表名不支持“-”、“#”等特殊字符。 任务启动后修改表结构会导致任务异常,需要重新启动执行任务。 目标端不支持映射字段全部为主键的表。 仅支持至少一次(at least once)交付,不支持精确一次(exactly once)交付,即无法保证数据不会重复,因此需依赖主键及目标系统的能力来确保数据一致性。 数据源采集文件时,并发任务支持的总文件大小不超过800M。 说明: 仅适用于OBS、FTP、 MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数据源之间多个文件同步统计,代表的是本次同步的文件的数量。 OBS数据源类型 OBS数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;不解析模式下支持的最大大小不超过10M。 MRS数据源类型 只支持对接开启了kerberos认证的MRS集群。 只支持结构化数据。 MRS Hive数据源类型 Hive读写文件格式只支持rcfile和textfile类型。 MRS Hive作为源端最大只支持100万数据量表的同步。 API数据源类型 超时时间为60秒,服务端响应时间若超过60秒会触发任务执行报错。 API作为源端,单次请求最大支持读取的数据大小为20M,超过此大小必须分页分批读取。 API作为源端,只支持常量参数,不支持动态传递参数。 API作为目标端,不支持将源端获取到的数据映射到目标端的Headers中。 kafka数据源类型 当前SASL连接方式只支持对接ROMAConnect自带的MQS服务,用户自建的kakfa服务只支持明文方式对接。 Oracle数据库类型 只支持以下字段类型,不支持小写字段。 CHAR、VARCHAR、DATE、NUMBER、FLOAT、LONG、NCHAR、NVARCHAR2、RAW、TIMESTAMP Oracle系统与ROMA Connect服务器之间的系统时间差需要小于2分钟。 SQL Server数据库类型 只支持以下字段类型: BIT、CHAR、DATE、DATETIME、DECIMAL、FLOAT、IMAGE、INT、MONEY、NUMERIC MySQL数据库类型 只支持以下字段类型: INT、BIGINT、TINYINT、MEDIUMINT、FLOAT、DOUBLE、DECIMAL、CHAR、VARCHAR、TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT、DATETIME、TIMESTAMP、SMALLINT、YEAR、BINARY、JSON PostgreSQL/DWS数据库类型 只支持以下字段类型: BOOL、CIDR、CIRCLE、DATE、NUMERIC、FLOAT4、FLOAT8、MONEY、PATH、POINT、INT、TIMESTAMP、TIMETZ、UUID、VARBIT、VARCHAR 在FDI任务中为目标端时,为提升写入性能,默认不支持批次号选项以及常量设置。若用户对性能无特殊要求,需要支持批次号选项及常量设置功能,请联系技术支持处理。 Redis数据库类型 Redis数据源作为目标端时,源端为时间类型的字段,如datetime或者date,在写入目标端后,如果需要显示为“yyyy-MM-dd HH:mm:ss”格式,那么字段类型需要选择为string,然后选择相应的date或者datetime数据格式。 DIS数据库类型 源端进行数据采集时,一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL Server、Kafka。 目标端的表必须要有主键,否则会影响数据同步一致性。 Oracle作为源端数据源时,仅支持表名、字段名都是大写的表。 Oracle作为目标端数据源时,不支持小写字段的表。 在编辑已创建的组合任务并新增源表时,源表中必须有数据。 组合任务支持的表名最大长度为64,若表名中有中文,则一个中文按3个长度计算。 自动映射会读取源库和目标库中前2000张表的所有字段信息,读取总耗时受数据库性能、表字段数量以及网络速率影响,若总耗时超过了接口超时时间(1分钟),则会自动映射失败,此为产品正常使用约束,此情况下建议使用手动配置方式。 组合实时任务定义中不支持二进制字段。 MySQL Schema任务最多支持十组Schema映射,总表数最多2000张。 编排任务 目标端不支持每次执行任务时先清空目标表的功能。 不支持设置常量,设置常量指的是目标端某些字段的值可以指定写入固定值,不依赖源端数据。 创建编排任务时,如果有多个目标端,设置连线时“批次号格式”以第一个连线设置的为准,其他连线设置不同时,均以第一个连线为准。例如:第一个连线设置为UUID,第二个、第三个设置为yyyyMMddHHmmss时,最终均以UUID格式为准。
  • 消息集成 表3 MQS约束与限制 功能模块 约束与限制 消息大小限制上限 上限不超过10M。 节点故障场景 实例中有部分节点故障时,将无法进行Topic管理类操作(如创建、删除)。 Topic导入 仅支持导入xlsx、xls和csv格式文件。 导入文件中的描述信息不能以=号开头,并且如果有换行符,将会进行转义。 单个导入文件中,Topic数不能超过100。 Topic导出 仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。 单IP连接数 通过内网连接地址连接,每个客户端IP的连接数上限为1000;通过公网访问时,实例总的连接数上限为1000。 Topic老化时间限制 通过界面创建/修改Topic时,老化时间配置上限为168小时。
  • 消息集成规格 开源兼容性说明:ROMA Connect完全兼容开源社区Kafka 1.1.0、2.7版本,兼容开源Kafka的API,具备原生Kafka的所有消息处理特性。 ROMA Connect实例支持的消息集成规格如下,选择规格时建议预留30%的带宽,确保您的应用运行更稳定。 消息集成规格在以下条件中测试得出: 连接方式:内网连接 认证方式:无 数据大小:1KB 磁盘类型:SSD 表5 消息集成规格 实例规格 消息集成带宽 TPS(高吞吐场景) TPS(同步复制场景) 分区数上限 存储空间 规格说明 入门版 100MB/s 6万 3万 600 600G Kafka客户端连接数在1500以内,消费组个数在30个以内,业务流量为70MB/s以内时推荐选用。 基础版 100MB/s 10万 6万 600 600G Kafka客户端连接数在3000以内,消费组个数在60个以内,业务流量为70MB/s以内时推荐选用。 专业版 300MB/s 30万 15万 900 1200G Kafka客户端连接数在10000以内,消费组个数在300个以内,业务流量为210MB/s以内时推荐选用。 企业版 600MB/s 60万 30万 1800 2400G Kafka客户端连接数在20000以内,消费组个数在600个以内,业务流量为420MB/s以内时推荐选用。 铂金版 1200MB/s 120万 40万 1800 4800G Kafka客户端连接数在20000以内,消费组个数在600个以内,业务流量为840MB/s以内时推荐选用。
  • 设备集成规格 ROMA Connect支持设备使用3.1和3.1.1版本的MQTT协议接入,实例支持的设备集成规格如下。 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:500B 消息目的端:MQS Topic 下行消息 连接方式:内网连接 消息大小:500B 发送方式:通过控制台提供的Demo,调用数据面API下发消息 表6 设备集成规格 实例规格 上行消息 下行消息 基础版 在线设备2万时,上行消息10000(TPS) 在线设备2万时,下行消息1000(TPS) 专业版 在线设备4万时,上行消息20000(TPS) 在线设备4万时,下行消息1500(TPS) 企业版 在线设备10万时,上行消息40000(TPS) 在线设备10万时,下行消息2000(TPS) 铂金版 在线设备45万时,上行消息100000(TPS) 在线设备45万时,下行消息5000(TPS)