检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 为了确保数据的实时性和一致性，可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。 这一过程会按照预设的时间间隔精确执行，通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记录，并将其无缝对接到Oracl
完成本实践所需的资源： 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用，2RCU 1 父主题： 定时同步MySQL中的数据到Oracle
数据同步验证 连接Mysql数据源，在源端数据表中插入一条数据。 连接Oracle数据源，根据定时器设置的同步时间间隔等待一分钟，在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题： 定时同步MySQL中的数据到Oracle
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题： 创建API的时候“安全认证”选择的是“无认证”，创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”，创建数据源的时候“认证方式”选了“AppKey
配置异常数据存储（可选） 概述 本节主要提供数据集成任务异常数据存储的配置说明，仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中，如果源端的某些
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的
数据API调用存储过程时，参数可通过后端服务请求的Headers、Parameters或者Body传递，参数名的语法为：{参数名}.{数据类型}.{传输类型}。 数据类型包括String和int。 传输类型指入参或出参声明，入参使用in，出参使用out。 数据API中调用存储过程的执行语句示例： call sb_test(${nname
以上面JSON格式数据中含数组的样例为例，目标端为MySQL的配置示例如下所示。 增量迁移配置示例，数据表中需包含DATE、TIME或TIMESTAMP类型的字段，用作时间戳字段。 图6 MySQL增量迁移配置示例 扩展元数据配置示例，从数据表的desc字段中获取子元素c和d。 图7
接入数据源。 配置ROMA Connect接入业务系统的数据库，确保可以正常从数据库读取和写入数据。 不同类型数据源的接入配置不同，此处以Kafka作为源端数据库，MySQL作为目标端数据库为例进行说明，其他类型数据库请参考接入数据源。 接入源端Kafka数据源： 在左侧的导航
在命令列表中找到刚创建的命令，单击命令名称前的“”展开命令字段列表。 单击右侧的“下发命令字段”或“响应命令字段”，可分别查看该命令的下发命令字段和响应命令字段。 单击“创建下发命令字段”或“创建响应命令字段”。 在新增下发/响应命令弹窗中配置命令字段相关信息，完成后单击“确认”。 表6 命令字段信息配置 参数 配置说明
”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 22:00:00.0,2020-11-05 23:00:00.0] 周期指定为“当前周期”，周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
发生异常时对监控部分流程的重试间隔，单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test，将对mysql操作重试一次（间隔两秒），之后终止，不再执行后续流程；若出现运行异常且错误信息中包含error，则不会对mysql操作重试，会进行日志采集，然后继续执行后续Redis
看映射字段，可根据实际情况修改源端和目标端字段名或删除多余字段，也可单击“手动添加字段映射”添加新的字段。单击右上角的按钮，可选择字段映射的配置项。 添加mapping映射配置项说明如下： 源端字段名：选择源端表对应的字段名，例如ID。 目标端字段名：选择目标表中对应的字段名。例如Name。
自动Mapping 手动配置Mapping 如果两端的数据表字段不一致，可单击下方的“添加mapping映射”，配置源端数据字段到目标端数据字段的映射关系。 用户可以手动添加源端数据字段与目标端数据字段的映射规则，该方式适用于所有数据类型的集成场景。可以通过键值对输入或文本框输入两种方式配置Mapping映射规则。
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败，界面报错为binlog probably
{偏移值}) “{分区字段来源字段}”为String类型时，“{字符串解析格式}”必须填写。 “{分区字段来源字段}”为Timestamp类型时，“{字符串解析格式}”可为空。 “{分区字段来源字段}”为空时，使用数据写入目标端的时间来作为分区字段。 图2 MRS Hive分区字段映射 例如
表4 响应Body参数 参数 参数类型 描述 columns Array of ColumnInfo objects 返回的实体对象。 数组长度：0 - 200 表5 ColumnInfo 参数 参数类型 描述 field_name String 字段名称。 最小长度：0 最大长度：256
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
统计不同类型不同状态任务数量 功能介绍 统计不同类型不同状态任务数量。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fd
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
