检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务:FDI任务结束后,支持同时自动手工调度最多五个其它普通定时任务。 应用 选择对应的集成应用。 数据源 根据“执行动作”选择的数据源类型,选择相同类型数据源。 例如执行动作选择的是“发送消息至Kafka”,此处数据源则选择“Kafka”。 Topic 名称 选择用户接收消息的Topic。 自定义消息内容
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看,视图定义语句使用了union,但是union两边字段编码不一致,须统一编码。 解决方案 建议使用CONVERT转换为统一编码,如:CONVERT
参数 配置说明 后端名称 填写后端的名称,根据规划自定义。建议您按照一定的命名规则填写后端名称,方便您快速识别和查找。 集成应用 选择后端所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 后端请求方法 选择后端的请求方法,可选择“GET”、“P
将流控策略应用于API,则所有对该API的访问将会受到该流控策略的限制。 当一定时间内的访问次数超过流控策略设置的API最大访问次数限制后,后续的访问将会被拒绝,从而能够较好的保护后端API免受异常流量的冲击,保障服务的稳定运行。 为指定的API绑定流控策略,绑定时,需要指定在哪个环境上生效。
“数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。 配置参数 参数 说明 源端数据源 设置源端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json,xml和csv格式导入。
选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。
最大长度:64 source_datasource_name String 源端数据源的名称。 最小长度:1 最大长度:64 target_datasource_name String 目标端数据源的名称。 最小长度:1 最大长度:64 source_app_id String 源端数据源所属集成应用ID。
多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到的数据格式不一,给
主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作 列表基本操作 字符串基本操作 键的基本操作 字符串基本操作
Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据,并根据集成任务的配置,筛
消息客户端向Topic生产的每条消息是否立即写入磁盘,此处不启用。 标签 添加Topic的标签信息,用于快速过滤和查找Topic。 敏感字段 填写Topic的消息敏感字段。若向Topic生成的消息中包含敏感字段,则包含敏感字段的整条消息内容会被屏蔽。此处不添加。 描述 填写Topic的描述信息。
语句。JSON格式的数据分为两种:带有单引号或双引号的是常量数据,不带任何引号的是变量数据。 SELECT语句中的字段是JSON消息Key里面的值,支持SQL内置的函数。您可以参考表5,获取其他SQL函数的使用方法。同时,SELECT语句不仅支持“*”和函数的组合,也支持数组和嵌
数据源管理 ROMA Connect支持的数据源 接入API数据源 接入ActiveMQ数据源 接入ArtemisMQ数据源 接入DB2数据源 接入DIS数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源
触发器 Open API FTP ActiveMQ Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。 若目标端数据类型为MRS
字段间的映射规则自动建立。 图1 自动Mapping 手动配置Mapping 如果两端的数据表字段不一致,可单击下方的“添加mapping映射”,配置源端数据字段到目标端数据字段的映射关系。 用户可以手动添加源端数据字段与目标端数据字段的映射规则,该方式适用于所有数据类型的集成场
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:1 最大长度:64 instance_id 是 String 实例ID。 最小长度:1 最大长度:64 task_id 是 String 任务唯一标识,任务的ID。 最小长度:1 最大长度:64 请求参数
replication forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
延时 “延时”处理器用于创建指定时间的延迟。其典型使用场景是若某步骤为耗时任务,且后续步骤依赖于该步骤的执行结果时,可在两步骤之间添加“延时”处理器,以保证后续步骤可正常执行。 配置参数 参数 说明 延迟时间(ms) 延迟的时长,单位为ms。 父主题: 处理器
任务调度器参数配置 参数 参数说明 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 是否解析