检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接收到日志数据后,根据设置的过滤解析规则,对日志数据进行拆分和过滤,然后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后,生成日志数据的索引并存储数据,为Kibana的可视化显示提供聚合搜索和数据分析的支撑。
消息集成 向Topic生产的消息是否有长度限制? MQS支持的Kafka服务端版本是多少?
Connect支持通过集成应用授权的方式,把集成应用下的资源共享给同一账号下的其他IAM用户来查看和使用。 约束与限制 集成应用的授权管理功能,仅能解决同一账号下其他用户间共享的权限,对应用对象进行操作的权限仍然由IAM统一控制。 修改或删除集成应用授权,会影响其他IAM用户查看和使用当前集成应用下的资源,请谨慎操作。
数据源管理 ROMA Connect支持的数据源 接入API数据源 接入ActiveMQ数据源 接入ArtemisMQ数据源 接入DB2数据源 接入DIS数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源
任务监控管理 查询任务监控信息列表 查询单个任务的日志详情 查询单次调度日志详情 查询指定任务的调度信息总览 父主题: 数据集成API
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
是否对转发的设备数据进行base64编码。 包含设备信息 转发的设备数据是否包含设备信息。 (可选)配置对转发数据的数据解析,对转发数据进行过滤筛选。 SQL解析配置说明请参见SQL解析。 数据解析在应用之后,base64和包含设备信息选项不生效。 配置规则的数据目的端。 Sit
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源
CLICKHOUSE数据源 FTP:FTP数据源 OBS:OBS数据源 ACTIVEMQ:ActiveMQ数据源 ARTEMISMQ:ArtemisMQ数据源 IBMMQ:IBM MQ数据源 KAFKA:Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源
启停数据集成任务 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。
OpenAPI接口 导出API 导入API 导出自定义后端API 导入自定义后端API 父主题: 服务集成API
选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 说明: 仅数据源类型为MySQL、Oracle、PostgreSQL、SQL Server、Hana时支持定时。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。
任务调度器参数配置 参数 参数说明 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 是否解析
target_datasource_name String 目标端数据源的名称。 最小长度:1 最大长度:64 source_app_id String 源端数据源所属集成应用ID。 最小长度:1 最大长度:64 target_app_id String 目标端数据源所属集成应用ID。 最小长度:1 最大长度:64
Connect实例。 源端集成应用 选择API数据源所属的集成应用,在接入数据源时已配置。 源端数据类型 选择“API”。 数据源名称 选择接入数据源中已配置的API数据源。 是否需要分页 一次API请求可以返回多条数据,ROMA Connect向API数据源发送请求获取数据时,数据是否分页返回。
发布数据API 在数据后端创建后,您需要发布数据后端,生成数据API并发布到环境上,才可供其他用户调用。 前提条件 每个API都要归属到某个API分组下,在发布函数API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证。
前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6位,且数值为0时,数据后端会把该数据值转换为科学计数法。因此,不建议把numeric类型数据的小数位精度设置为超过6位。
导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成
数据集成API 数据源管理 任务监控管理 任务管理
影响任务保存。 配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。