检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据后先进行处理再写入目标端,脚本样例参见脚本映射样例。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。
定时器 定时器是一种能够按照预定的时间间隔触发特定操作的触发器。它可以在设定的时间周期内周期性地触发操作,也可以在指定的时间点触发操作。定时器常用于实现定时任务、定时调度等功能。 支持的动作 每分钟触发 每小时触发 每周触发 每月触发 固定时间间隔触发 配置参数 表1 每分钟触发
连接器 触发器 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 自定义连接器
触发器 Open API FTP ActiveMQ Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
标系统的能力来确保数据一致性。 数据源采集文件时,并发任务支持的总文件大小不超过800M。 说明: 仅适用于OBS、FTP、MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式
请参考接入数据源。 ROMA Connect具备向目标端数据源写入数据的权限。 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成
说明 连接名称 填写连接器实例名称。 主机IP地址 填写IBM MQ主机的IP地址。 端口 填写IBM MQ主机的端口。 队列管理器 提供队列服务和API及用于管理队列的管理功能的系统管理程序。 字符集标识 对消息中的字符串进行编码时要使用的字符集。 通道名称 通道是MQ系统中队列管理器之间传递消息的管道。
消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao
FDI任务失败,修改问题后任务写入仍然报错 表名存在乱码导致Camel访问数据库失败 插入数据违反非空约束 DWS变成只读状态导致FDI任务运行失败 向DWS写入数据时越来越慢怎么解决
表1 发布模板消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题,指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 模板 在消息通知服务创建的消息模板,指消息的固定格式,发布消息时
文字识别连接器用于对接华为云文字识别服务,可以通过文字识别服务准确识别图像中的文字。 前提条件 使用文字识别连接器前,需要开通华为云文字识别服务。 创建文字识别连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“华为云服务”类别下的“文字识别”。
Artifact CodeArts Artifact连接器用于对接华为云CodeArts Artifact服务。 制品仓库(CodeArts Artifact),是面向软件开发者提供软件发布的云服务,提供软件仓库、软件发布、发布包下载、发布包元数据管理等功能,通过安全可靠的软件仓库,实现软件
CodeArts Check CodeArts Check连接器用于对接华为云CodeArts Check服务。 代码检查(CodeArts Check)是自主研发的代码检查服务。建立在多年自动化源代码静态检查技术积累与企业级应用经验的沉淀之上,为用户提供代码风格、通用质量与网络安
CodeArts Deploy CodeArts Deploy连接器用于对接华为云CodeArts Deploy服务。 部署(CodeArts Deploy)提供可视化、一键式部署服务,支持部署到虚拟机或者容器,提供Tomcat、SpringBoot等模板或者自由组装编排原子步骤进行部署
CodeArts Repo CodeArts Repo连接器用于对接华为云CodeArts Repo服务。 代码托管(CodeArts Repo)是华为全栈自研的代码托管服务,基于Git提供分布式代码管理和协同开发能力,包括成员管理、权限控制、代码托管、代码检查、代码审核、代码追
ArtemisMQ ArtemisMQ 是一个开源的高性能消息队列(Message Queue)系统,它是基于 Apache ActiveMQ 和 Apache Artemis 的技术构建而成的。ArtemisMQ 提供了可靠的异步消息传递机制,允许不同的应用程序之间通过消息进行
QQ邮箱 QQ邮箱触发器用于对接QQ邮箱,可以通过接收QQ邮箱新邮件触发。 创建QQ邮箱连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“QQ邮箱”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称
FTP FTP连接器是基于FTP/SFTP协议实现文件传输的通道,通过FTP连接器可与外部FTP服务器进行文件交换。 FTP(File Transfer Protocol,文件传输协议)是TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分:FTP服务器和FTP客户端。其
Kafka Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是
Arts Pipeline服务。 流水线(CodeArts Pipeline)提供可视化、可定制的持续交付流水线服务,实现缩短交付周期和提升交付质量的效果 前提条件 使用CodeArts Pipeline前,需要开通CodeArts Pipeline服务。 创建CodeArts Pipeline连接