检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成任务管理 查看数据集成任务 导入导出数据集成任务 附录:QuartZ Cron表达式配置说明 父主题: 数据集成指导
斜杠(/)结尾。 配置完成后,若需要配置任务完成后执行,请前往配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。 父主题: 创建数据集成任务(普通任务)
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
TaskBasicRequestBody object 任务简单信息。 task_detail 是 String 任务详细信息。参数结构参照附录中“数据集成参数说明>RawFormDataRequest”章节。 最小长度:1 最大长度:2147483647 表4 TaskBasicRequestBody
数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
数据集成API 数据源管理 任务监控管理 任务管理
查询数据源 功能介绍 查询数据源。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/instances/{instance_id}/datasources
启停数据集成任务 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
描述 填写任务的描述信息。 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 任务标签
enforce_gtid_consistency = on 其中: server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。 expire_logs_days为Binlog日志文件保留时间,超过保留时间
数据源名称 选择接入数据源中已配置的MongoDB数据源。 选择源端集合 选择MongoDB数据源中要获取数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要集成的数据列字段。 是否增量迁移 选择是否只集成指定时间段内的数据。
错误码。 最小长度:8 最大长度:36 error_msg String 错误描述。 最小长度:2 最大长度:512 请求示例 重置指定数据集成组合任务的进度到指定时间点 https://{{ServerHost}}/v2/c53626012ba84727b938ca8bf031
"col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } 父主题: 数据集成普通任务
开发场景 场景说明 如果ROMA Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。 这个数
跟踪号是什么,能跟踪到数据吗? 跟踪号为后台跟踪任务状态使用,不能跟踪到数据。 父主题: 数据集成普通任务
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
目标表 选择MongoDB数据源中要写入数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即是否在目标端数据集合中直接更新已有数据字段。 Upsert键