检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题:
String 设备接入地址。 最小长度:0 最大长度:200 ssl_connect_address String 设备接入SSL地址。 最小长度:0 最大长度:200 ipv6_connect_address String 设备接入IPv6地址,在开启IPv6时生效。 最小长度:0
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
Connect服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可(RCU实例暂不支持IPV6,创建子网不可勾选IPv6设置)。 租户实例如果有跨VPC通信需求,需控制对端VPC网段不得与内部网段地址冲突。 实例VPC网段与内部网段对应关系如下: 10网段对应172.31.0.0/16内部网段。
最大长度:2147483647 address 否 String 地址。 OBS (obs远端地址,obs数据源使用)。 MONGODB (MONGODB数据源类型主机IP地址,多个IP:PORT,使用","隔开)。 REDIS (redis服务地址,多个IP:PORT,使用","隔开)。 最小长度:0
Connect注册设备中所创建的集成应用。 描述 填写数据源的描述信息。 连接模式 选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
实例入口,虚拟私有云访问地址 user_id String 实例所属用户ID nat_eip_ipv6_cidr String 出公网网段 (IPv6) 。 当前仅部分region部分可用区支持IPv6 eip_ipv6_address String 弹性IP地址(IPv6)。 当前仅部分region部分可用区支持IPv6
String 设备接入地址。 最小长度:0 最大长度:200 ssl_connect_address String 设备接入SSL地址。 最小长度:0 最大长度:200 ipv6_connect_address String 设备接入IPv6地址,在开启IPv6时生效。 最小长度:0
String 设备接入地址。 最小长度:0 最大长度:200 ssl_connect_address String 设备接入SSL地址。 最小长度:0 最大长度:200 ipv6_connect_address String 设备接入IPv6地址,在开启IPv6时生效。 最小长度:0
String 设备接入地址。 最小长度:0 最大长度:200 ssl_connect_address String 设备接入SSL地址。 最小长度:0 最大长度:200 ipv6_connect_address String 设备接入IPv6地址,在开启IPv6时生效。 最小长度:0
找。 集成应用 选择数据源所归属的集成应用。 描述 编辑数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SSL ROMA Connect与Kafka的连接是否使用SSL认证加密。
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
String 设备接入地址。 最小长度:0 最大长度:200 ssl_connect_address String 设备接入SSL地址。 最小长度:0 最大长度:200 ipv6_connect_address String 设备接入IPv6地址,在开启IPv6时生效。 最小长度:0
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
概述 规则引擎可以订阅设备Topic,获取设备上报的数据,然后将解析过的数据发送到其他云服务供其使用。例如,用户可制定规则,命令设备每小时上报一次设备温度,如果设备温度超出正常范围,则关闭该设备,给用户发送告警信息;LINK将收集到的数据传输到大数据分析平台,评估其他设备发生故障的风险。