检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
MysqlConfig mysqlConfig = getAndCheckMysqlConfig(readerRequestBody.getDatasource()); String jdbcUrl = buildMysqlUrl(mysqlConfig);
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
将字节数组转换成UTF-8编码字符串 输入参数 bytes:需要转换的字节数组 返回信息 返回转换后的字符串 public static String toHexString(byte[] data) 将字节数组转成十六进制小写字符串 输入参数 data:需要转换的字节数组 返回信息
时,最大循环次数为100,超出后运行报错。 遍历数组 当“类型”为“指定循环数组”时,可配置遍历数组,遍历数组的数据可以从上一节点获取,请参考引用变量。 数组最大长度为100,超出后运行报错。 并行遍历 当“类型”为“指定循环数组”时,可配置并行遍历,支持最大并行数为10。 父主题:
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
消费指定队列中的消息,可同时消费多条消息。 当队列中消息较少时,单次消费返回的消息数量可能会少于指定条数,但多次消费最终可获取全部消息。当返回的消息为空数组时,表示未消费到消息。 endpoint为https://{rest_connect_address}:9292,通过指定实例接口查询rest_c
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
设置用户成员 功能介绍 设置应用的用户成员,为空数组时会清空已有应用成员列表。 设置动作为全量更新非增量更新,应用的成员列表都会替换为当次请求的应用成员列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
"remark" : "", "status" : 0 } ] } 响应消息 响应参数 响应参数为数组元素。 表4 响应参数 名称 类型 描述 数组元素 Array<device> 设备信息。 表5 device 名称 类型 描述 client_id string
c,元素d的解析路径需设置为[i].d。 以上面JSON格式数据中不含数组的样例为例,源端为Kafka的配置示例如下图所示。 图5 Kafka配置示例 MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源,具体配置如下。 表7 源端MySQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
device_name=device01& product_name =product01 响应消息 响应参数 响应参数为数组元素。 表2 响应参数 名称 类型 描述 数组元素 Array<topic> Topic列表信息。 表3 topic 名称 类型 描述 remark string
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度:0 最大长度:10 mysql_timeout 否 Integer MYSQL连接超时时间(秒)。 最小值:1 最大值:20000
数据源为GAUSS100、POSTGRESQL类型时配置“big5”。 数据源为MYSQL、GaussDB(for MySQL)类型且mode为default时配置。 最小长度:0 最大长度:10 mysql_timeout Integer MYSQL连接超时时间(秒)。 最小值:1 最大值:20000
源端MQS与目标端MySQL的数据结构不一样,需要对数据进行解析和转换,此处选择“是”。 数据根字段 指从源端获取到的JSON格式数据中,元数据集上层公共字段的路径。此处不设置。 数据类型 选择从MQS数据源获取的数据格式类型,需要与MQS实际存储的数据格式一致。存储到MQS的设备数
MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20