检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
IllegalArgumentException: {IP address}_{timestamp}”错误 原因分析 ROMA Connect实例未绑定弹性公网IP。 解决方案 为ROMA Connect实例绑定弹性公网IP,绑定成功后再运行demo。 父主题: 设备集成
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型是否匹配、字段是否超出长度限制、字段是否存在,如果有不符合要求的请修改。 父主题: 数据集成任务
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM FULL等。
目标端数据源为公网Kafka时,由于网络原因导致定时任务报“The task executes failed.Writer data to kafka failed”错误。 解决方案 等待定时任务下次任务调度,或者停止任务再重新启动任务。 父主题: 数据集成任务
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
Id、Host、Username和Password有误。 “Appendtimestamp to MQTT client id?”选项被勾选。 解决方案 在MQTTBox客户端配置页面,检查MQTT Client Id、Host、Username和Password的配置是否有误。 将“Appendtimestamp
FTP数据源测试连接失败 原因分析 服务器端和数据源的连接模式不一致,例如,服务器端连接模式配置为主动连接模式,而数据源配置为被动连接模式。 解决方案 修改连接模式,使服务器端和数据源的连接模式保持一致。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
events generated with statement or mixed based replication forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配
I网关提示后端服务调用失败。 如果“后端服务地址”在ECS(Elastic Cloud Server),ECS的安全组无法被外部访问。 解决方案 在编辑API中修改后端服务地址。 在编辑API中增加后端超时时间。 确认业务的出入端口和协议都设置正确。 父主题: 服务集成
为2的字段,但是采集到目标端值就变成了1 原因分析 Mysql驱动自动识别tinyint(1)为bit类型,所以目标端的值都变成了1。 解决方案 修改数据源配置,连接与安全配置项选择“专业”模式,在字符串最后加上tinyInt1isBit=false的配置,如:jdbc:mysq
访问的URL与API详情中的URL不相同。 API使用OPTIONS跨域请求,API中未开启CORS,未创建OPTIONS方式的API。 解决方案 发布API到环境。 修改URL,使访问的URL与API详情中的URL保持一致,注意URL后如果少一个“/”也会导致无法匹配上此API。
要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内,所以部分数据采集不到。 解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题: 数据集成任务
维护应用程序和DWS数据库之间的连接,并管理数据的传输。 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容
Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site.xml文件中添加dfs.client.use
导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案 将MRS Hive的服务端机器绑定EIP,在配置文件中将IP换成EIP,在hdfs-site.xml文件中添加“dfs.client.use