检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务失败,修改问题后任务写入仍然报错 原因分析 Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
批量删除ACL策略 功能介绍 批量删除指定的多个ACL策略。 删除ACL策略时,如果存在ACL策略与API绑定关系,则无法删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数intera
批量启动或停止任务 功能介绍 批量启动或停止任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/instanc
统计上一个统计周期内,此实例下所有任务累计写入数据的总大小。 如果希望写入的数据大小超过或低于某个阈值时触发告警,可以配置此指标监控。 ≥0 单位:Byte/KB/MB/GB/TB/PB 实例 5分钟 data_count 数据条数 统计上一个统计周期内,此实例下所有任务累计写入数据的总条数。 如果希望写入的数据条
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
批量发布或下线API 功能介绍 将多个API发布到一个指定的环境,或将多个API从指定的环境下线。 URI POST /v1/{project_id}/apic/instances/{instance_id}/apis/publish 表1 路径参数 参数 是否必选 参数类型 描述
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
项目下批量修改VPC通道 功能介绍 项目下根据VPC通道名称批量修改多个多个实例下的VPC通道。若实例下不存在该VPC通道则创建。注意:实例特性vpc_name_modifiable配置为off时才可使用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
0-SNAPSHOT.jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
批量添加设备到设备分组 功能介绍 批量添加设备到设备分组。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/link/in
批量解除API与ACL策略的绑定 功能介绍 批量解除API与ACL策略的绑定 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}
批量修改后端服务器状态不可用 功能介绍 批量修改后端服务器状态不可用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/a
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
填写文件名前缀,与“文件名后缀”配合使用,用于定义写入FTP数据源的文件名称。 文件名后缀 选择文件名后缀,可选择不同的时间戳格式,与“文件名前缀”配合使用,用于定义写入FTP数据源的文件名称。 文件内容类型 选择要写入数据的数据文件内容类型,可选择“文本文件”和“二进制文件”。 文件类型 选择要写入数据的数据文件