检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称Oracle_test。 区域 选择区域。 项目 选择项目。 实例 选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。
完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
自定义数据源开发示例(定时任务) 操作场景 FDI当前支持接入MySQL类型数据库,但因为MySQL是最常用的数据库类型,可以方便开发者参照理解,故本章节以MySQL类型自定义连接器为例进行开发,示例使用Java语言进行开发,Demo代码参考MysqlConnctor.rar。 前提条件 准备装有1
客户端配置 查询APP列表 查看APP详情 创建APP Code 自动生成APP Code 查询APP Code列表 查看APP Code详情 删除APP Code 查询客户端应用关联的应用配额 设置APP的访问控制 查看APP的访问控制详情 删除APP的访问控制 父主题: 服务集成API
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型是
输入关键字搜索需要授权的用户。 在“已选择”处为已选择的IAM用户配置集成应用的管理权限。 可为每个用户单独配置权限,也可以单击“权限”右侧的“”为所有已选择用户批量配置权限。 图1 配置应用授权参数 表1 应用权限说明 权限 FDI APIC MQS LINK read 可查看授权应用的数据源。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
源端为Oracle的配置与MySQL的类似,配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为“定时”时,可以选择PostgreSQL作为源端数据源,具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
自动生成APP Code 功能介绍 创建App Code时,可以不指定具体值,由后台自动生成随机字符串填充。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
APIC > API策略”,在“策略管理”页签下单击“创建策略”。 在选择策略类型弹窗中选择“传统策略 > 流量控制”。 在配置流控弹窗中配置策略信息。 表1 流控策略配置 参数 说明 策略名称 填写流控策略的名称,根据规划自定义。建议您按照一定的命名规则填写流控策略名称,方便您快速识别和查找。
时区(北京时间)。 配置目标端数据信息。 表5 目标端信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择目标端MySQL数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MySQL”。
forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
APIC > 自定义后端”,在“配置管理”页面单击“添加配置”。 在添加配置弹窗中配置相关信息,完成后单击“确定”。 表1 公共引用配置 参数 配置说明 配置名称 填写配置的名称,根据规划自定义。 所属集成应用 选择配置所归属的集成应用。 配置类型 选择配置的类型,可选择“模板变量”、“密码”和“证书”。
"fdi_ds_mysql", "datasource_type" : "MYSQL", "content" : { "host" : "10.10.10.10", "port" : "3306", "database_name" : "romatest"
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
删除应用配置 功能介绍 删除应用配置 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/apic/instances/{
实例配置特性 功能介绍 为实例配置需要的特性。 支持配置的特性列表及特性配置请参考“附录 > 实例支持的APIC特性” 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务