检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义数据源开发示例（定时任务） 操作场景 FDI当前支持接入MySQL类型数据库，但因为MySQL是最常用的数据库类型，可以方便开发者参照理解，故本章节以MySQL类型自定义连接器为例进行开发，示例使用Java语言进行开发，Demo代码参考MysqlConnctor.rar。 前提条件 准备装有1
可能是以下三种原因导致，请逐一排查： 后端服务地址错误。 后端超时时间设置不合理。 当后端服务没有在设置的后端超时时间内返回时，API网关提示后端服务调用失败。 如果“后端服务地址”在ECS（Elastic Cloud Server），ECS的安全组无法被外部访问。 解决方案 在编辑API中修改后端服务地址。
查询API列表 功能介绍 查看API列表，返回API详细信息、发布信息等，但不能查看到后端服务信息和API请求参数信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
实例节点出现故障的情况下，单副本Topic查询消息时会出现内部错误问题，因此不建议使用单副本Topic。 老化时间（小时） 设置Topic中存储消息的老化时间，超过老化时间的消息将会被删除。 同步复制 客户端向Topic生产消息时，是否把消息复制给所有副本，然后才向消息客户端返回响应。 开启同步复制后，需要同时
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
增量迁移的任务在首次执行后，后续数据集成的时间区间设置模式。 系统默认：表示集成上一次调度到本次调度之间新产生的数据，ROMA Connect在获取源端数据时，将两次任务调度的触发时间分别作为“开始时间”与“结束时间”。 自定义：表示按照设置的周期规则确认“开始时间”与“结束时间”，适合一般
有数据。 组合任务支持的表名最大长度为64，若表名中有中文，则一个中文按3个长度计算。 自动映射会读取源库和目标库中前2000张表的所有字段信息，读取总耗时受数据库性能、表字段数量以及网络速率影响，若总耗时超过了接口超时时间(1分钟)，则会自动映射失败，此为产品正常使用约束，此情况下建议使用手动配置方式。
mongodb：mongodb数据源类型 redis：redis数据源类型 postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sqlserver：sqlserver数据源类型 dws：dws数据源类型 gauss100：gauss100数据源类型
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
Boolean 是否按照时间排序。 start_time 否 String 开始时间。Unix毫秒时间戳。 查询消息偏移量时，为必选参数。 end_time 否 String 结束时间。Unix毫秒时间戳。 查询消息偏移量时，为必选参数。 limit 否 String 查询消息的数量。 offset
发生异常时对监控部分流程的重试间隔，单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test，将对mysql操作重试一次（间隔两秒），之后终止，不再执行后续流程；若出现运行异常且错误信息中包含error，则不会对mysql操作重试，会进行日志采集，然后继续执行后续Redis
> 消息查询”，进入消息查询页面。 在页面右上角选择要查询消息的Topic，界面自动展示该Topic中存储的消息记录。 您也可以单击“高级搜索”，设置查询条件，然后单击“搜索”，查询消息。 查询方式：选择消息的查询方式。 按生产时间查询：按生产消息的时间查询。 按偏移量查询：按分区中记录消息的位置查询。
配置异常数据存储（可选） 概述 本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源端的某些数据符合集
forma，如下图所示。 解决方案 该问题是debezium当前版本的一个BUG，需要用户升级MySQL。 对于组合任务，可以尝试通过修改配置的方法规避，首先删除此表的配置，启动任务后会跳过这些数据，等任务执行成功后，再将表配置回来重新采集。 父主题： 数据集成组合任务
配置映射策略和映射范围，单击“开始映射”。界面自动生成数据表的映射关系。 单击表映射关系后的“编辑”，可以根据需要修改数据表的映射关系。 单击表映射关系后的“查看映射”，弹出数据表的字段映射配置窗口，可根据需要修改数据表字段的映射关系或者添加mapping映射。 目标端数据字段长
交的最早事务对应时间距离实时的时间差。 对于MySQL类型的CDC任务，此指标表示任务正在读取的Binlog日志对应的时间与当前系统时间的差值，代表了实时读取的延迟情况。此指标的值与任务调度日志页面中显示的“读端实时监控”是一致的。 ≥0 单位：毫秒 任务 1分钟 cdc_sub
存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number
${{begin}}为固定格式，请勿修改，代表上次任务的执行的时间。 ${{end}}为固定格式，请勿修改，代表本次任务的执行时间。 源端表 仅当“插入SQL”选择不开启时需要配置。 选择DM数据源中要获取数据的数据表。选择数据表后，单击“选择表字段”，可以只选择需要集成的数据列字段，例如：ID。 按字段排序 仅当“插入SQL”选择不开启时需要配置。
API分析”，在“调用分析”页签中可查看API的调用统计情况。 可查看“API总数”、“API分组总数”、“流控策略总数”的实时统计。 查看某个API的调用统计，包括“请求次数”、“出错统计”、“数据流量”和“调用延时”。 选择“集成应用”和“API”，筛选要查看统计数据的API，并可以选择要查看数据的时间段范围。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
