检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FTP数据源测试连接失败 原因分析 服务器端和数据源的连接模式不一致,例如,服务器端连接模式配置为主动连接模式,而数据源配置为被动连接模式。 解决方案 修改连接模式,使服务器端和数据源的连接模式保持一致。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
I任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题: 数据集成任务
为2的字段,但是采集到目标端值就变成了1 原因分析 Mysql驱动自动识别tinyint(1)为bit类型,所以目标端的值都变成了1。 解决方案 修改数据源配置,连接与安全配置项选择“专业”模式,在字符串最后加上tinyInt1isBit=false的配置,如:jdbc:mysq
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内,所以部分数据采集不到。 解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题: 数据集成任务
events generated with statement or mixed based replication forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配
I网关提示后端服务调用失败。 如果“后端服务地址”在ECS(Elastic Cloud Server),ECS的安全组无法被外部访问。 解决方案 在编辑API中修改后端服务地址。 在编辑API中增加后端超时时间。 确认业务的出入端口和协议都设置正确。 父主题: 服务集成
原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型是否匹配、字段是否超出长度限制、字段是否存在,如果有不符合要求的请修改。 父主题: 数据集成任务
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案 将MRS Hive的服务端机器绑定EIP,在配置文件中将IP换成EIP,在hdfs-site.xml文件中添加“dfs.client.use
访问的URL与API详情中的URL不相同。 API使用OPTIONS跨域请求,API中未开启CORS,未创建OPTIONS方式的API。 解决方案 发布API到环境。 修改URL,使访问的URL与API详情中的URL保持一致,注意URL后如果少一个“/”也会导致无法匹配上此API。
复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建
在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如果已经超过6小时,通道内的数据已
工业互联网集成 制造业数字化转型中有几类典型问题: 难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。
Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site.xml文件中添加dfs.client.use
Connect通过创建负载通道,可访问同一VPC内的弹性云服务器(ECS),并把弹性云服务器中已部署的后端服务用于API开放。另外负载通道还可以实现后端服务访问的负载均衡功能。 生产者 生产者为向消息主题(Topic)发布消息的一方,发布消息的最终目的在于将消息内容传递给其他系统,使对方能按照约定处理该消息。
某些数据时,就会出现获取的数据内容不符合要求,无法直接与自己数据结合使用等问题,不同业务系统间的数据共用难度大,效率低,影响业务发展。 解决方案 数据集成FDI是ROMA Connect的数据集成组件,支持多种数据类型之间灵活、快速、无侵入式的数据集成和转换,为业务系统之间建立有效的数据连接。
车位过程中需要耗费大量时间,进一步增加道路交通压力。 交通部门无法实时掌握城市停车位使用情况,难以针对停车问题制定有效的交通缓解措施。 解决方案 本章节介绍如何通过ROMA Connect对传统停车场的管理系统进行数字化改造,实现停车场车辆进出、计费、停车位状态的智能化管理。 停
式等会各不相同。某个子公司或部门要访问其他子公司或部门的开放API时,需要使用不同的认证信息,增加了子公司或部门间数字资产的共享难度。 解决方案 ROMA Connect的服务集成APIC提供了API级联的能力,通过API级联能力把企业内所有子公司或部门要开放的API级联到一个ROMA
产,大部分企业的数据资产仅在企业内部使用,资产复用率低。若直接把数据库提供给合作伙伴或第三方访问,又难以保证数据库的对外安全访问问题。 解决方案 服务集成APIC是ROMA Connect的API集成组件,支持将已有后端服务、数据源和自定义函数封装成标准的RESTful API,