检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成
息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对
数据集成API错误码 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 FDI.3002 Invalid parameters. 存在非法参数。 参考API文档修改非法参数。 400 FDI.3016 Failed to test the connectivity
数据集成任务管理 查看数据集成任务 导入导出数据集成任务 附录:QuartZ Cron表达式配置说明 父主题: 数据集成指导
启停数据集成任务 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。
数据集成API 数据源管理 任务监控管理 任务管理
TaskBasicRequestBody object 任务简单信息。 task_detail 是 String 任务详细信息。参数结构参照附录中“数据集成参数说明>RawFormDataRequest”章节。 最小长度:1 最大长度:2147483647 表4 TaskBasicRequestBody
数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
否 String 文件内容类型。 当文件内容类型为文本文件时,文件类型为csv or txt,当文件内容类型为二进制文件时,文件类型为xls or xlsx - binaryFile (二进制文件) - textFile (文本文件) 文件型数据源为必填项。 file_type 否
选择目标端集合 选择MongoDB数据源中要写入数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即是否在目标端数据集合中直接更新已有数据字段。 Upsert键
查询数据源 功能介绍 查询数据源。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/instances/{instance_id}/datasources
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择源端集合 选择MongoDB数据源中要获取数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。
描述 填写任务的描述信息。 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 任务标签
目标表 选择MongoDB数据源中要写入数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即是否在目标端数据集合中直接更新已有数据字段。 Upsert键
错误码。 最小长度:8 最大长度:36 error_msg String 错误描述。 最小长度:2 最大长度:512 请求示例 重置指定数据集成组合任务的进度到指定时间点 https://{{ServerHost}}/v2/c53626012ba84727b938ca8bf031