检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
目标表中配置的RowId字段类型不正确导致写入数据失败 原因分析 使用RowId的方式采集Oracle表数据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
replication forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下:
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时
读写的表名、可以进行增量读取的时间戳字段列名等。 图2 连接器配置2 发布连接器 连接器创建完成后,单击发布,可以发布连接器的实例。 连接器和连接器实例的关系,类似编程中的类和类对象实例。 连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址
最小长度:0 最大长度:6 db_name 否 String 数据库名称,只支持MRSHIVE类型的数据源。 最小长度:0 最大长度:64 table_name 是 String 字段所在的表名。 最小长度:0 最大长度:64 请求参数 表3 请求Header参数 参数 是否必选 参数类型
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
C)中,并绑定具体的子网,通过这样的方式为ROMA Connect提供一个隔离的、用户自主配置和管理的虚拟网络环境。 准备依赖资源 ROMA Connect实例所需资源的具体要求和创建指导如下所示。 表1 实例依赖资源 资源 要求 创建指导 VPC和子网 不同的ROMA Conn
获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。
FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数据源之间多个文件同步统计,代表的是本次同步的文件的数量。 OBS数据源类型
后端服务响应消息中的跨域头覆盖ROMA Connect响应消息中的跨域头。 非简单请求 对于非简单请求,您还需要创建一个“Method”为“OPTIONS”的API。“Method”为“OPTIONS”的API和普通API的区别如下: 所属分组:选择与已开启CORS的API相同的API分组。
后端服务响应消息中的跨域头覆盖ROMA Connect响应消息中的跨域头。 非简单请求 对于非简单请求,您还需要创建一个“Method”为“OPTIONS”的API。“Method”为“OPTIONS”的API和普通API的区别如下: 所属分组:选择与已开启CORS的API相同的API分组。
本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集成条件,但因为网络
Connect实例都部署在某个虚拟私有云(VPC)中,并绑定具体的子网和安全组,通过这样的方式为ROMA Connect提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略。 准备依赖资源 ROMA Connect实例所需资源的具体要求和创建指导如下所示。 表1 ROMA Connect依赖资源
批量发布或下线API 功能介绍 将多个API发布到一个指定的环境,或将多个API从指定的环境下线。 注意:当action = online时,接口返回的响应中publish_id,version_id, publish_time字段才有含义。 调试 您可以在API Explore
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site