检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
properties文件中。 执行启动脚本。 Windows下执行bin/windows/start.bat。 Linux下执行bin/linux/start.sh。 正常启动后,EdgeShell会连接上LINK,此时在会显示设备在线,设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目
properties文件中。 执行启动脚本。 Windows下执行bin/windows/start.bat。 Linux下执行bin/linux/start.sh。 正常启动后,EdgeShell会连接上LINK,此时在会显示设备在线,设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目
检查字段映射配置的字段类型是否匹配、字段是否超出长度限制、字段是否存在,如果有不符合要求的请修改。 父主题: 数据集成任务
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
自定义数据源开发示例(定时任务) 操作场景 FDI当前支持接入MySQL类型数据库,但因为MySQL是最常用的数据库类型,可以方便开发者参照理解,故本章节以MySQL类型自定义连接器为例进行开发,示例使用Java语言进行开发,Demo代码参考MysqlConnctor.rar。 前提条件 准备装有1
函数后端脚本开发说明 开发说明 函数后端通过编写函数脚本实现将多个服务封装成一个服务,在实际开发前请务必提前了解自定义后端开发要求。 函数后端当前仅支持使用JavaScript编写函数,JavaScript引擎运行于Java虚拟机,可调用ROMA Connect提供的Java类实现具体功能。
replication forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
操作类型。 start (启动) stop (停止) 最小长度:1 最大长度:10 list 否 Array of TaskBean objects 需要启动或者停止的任务ID列表,list数组长度最大为10。 数组长度:1 - 9999 表4 TaskBean 参数 是否必选 参数类型 描述
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
任务的“集成模式”为“定时”或“实时”时,可以选择PostgreSQL作为目标端数据源,具体配置如下。 表11 目标端PostgreSQL信息 参数 配置说明 是否自动建表 选择是否自动创建新的数据表。 目标表名称 仅当“是否自动建表”开启时显示。 填写自动建表的表名称。 目标端表 仅当“是否自动建表”关闭时显示。
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
最小值:0 最大值:200 null_able String 是否允许为空。 is_partition Boolean 是否是分区字段。 primary String 是否是主键字段。 unique String 是否是唯一键字段。 decimal_digits String 小数部分位数,非数字类型返回null。
选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间(秒) 连接数据库的超时时间,单位为秒。
name 否 String 待校验是否重复的字典名称,精确匹配。 code 否 String 待校验是否重复的字典编码,精确匹配。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户
标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 启动数据集成任务。 在数据集成任务左侧勾选上要启动的任务,单击任务列表上方的“启动”,启动任务。任务启动成功后,“任务状态”变为“启动”。 任务启动后,任务状态为“执行中”,待任务状态为“执行成功”,则表示该数据集成任务执行完成。