检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud
的情况下，同步任务将执行对源端数据向目标端数据的全量同步。在组件上可以看到同步的数据量及运行时长等信息。 图5 全量同步 数据补录 当发生源端历史数据变更等情况时，通过在读取组件自定义 SQL，可以添加针对日期字段进行过滤的 WHERE 条件，可以实现针对特定时间段的数据补录需要。 图6 数据补录 增量同步
数据集成 数据集成普通任务 数据集成组合任务
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务（普通任务） 创建数据集成任务（组合任务） 创建数据集成任务（编排任务） 启停数据集成任务 数据集成任务管理 连接器
数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增
查看数据集成任务 概述 数据集成任务创建后，您可以查看任务的相关信息，包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置，修改任务的操作跟创建任务类似，具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息，避免目标端出现脏数据或者数据集成不完
项目ID。 源端数据源ID 源端数据源ID。 目标端数据源ID 目标端数据源ID。 源端数据源的名称 源端数据源的名称。 目标端数据源的名称 目标端数据源的名称。 源端数据源所属集成应用ID 源端数据源所属集成应用ID。 目标端数据源所属集成应用ID 目标端数据源所属集成应用ID。 源端数据源所属集成应用名称
数据集成平台操作手册 平台界面 数据集成 数据调度 功能列表 父主题： 实施步骤
消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。 元数据 指从源端获取到的JSON或XML格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：由于数
数据集成 数据集成概述、工具介绍及入湖范围 数据集成前探查 全量数据同步 增量数据同步 父主题： 实施步骤
个业务系统的某些数据时，就会出现获取的数据内容不符合要求，无法直接与自己数据结合使用等问题，不同业务系统间的数据共用难度大，效率低，影响业务发展。 解决方案 数据集成FDI是ROMA Connect的数据集成组件，支持多种数据类型之间灵活、快速、无侵入式的数据集成和转换，为业务系统之间建立有效的数据连接。
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项（Action） 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
数据集成平台应用部署 将部署文件上传到服务器/usr/local/下，解压target4.0.tar tar -zxvf target4.0.tar 说明：需要java环境 检查环境：java -vrsion 图1 解压 进入/usr/local/target4.0/bin下启动服务；启动命令：
字段注释、数据类型、数据长度、数据量、数据主键、时间戳字段以及数据空值及分布情况等内容。在获取数据接入授权与数据源端连接信息后，确定数据探查方法并实施探查，参照数据标准与数据集成需求对探查结果进行分析，最终输出数据探查分析结果，形成问题清单，指导数据集成方案设计。 数据探查实施
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ MRS Hive目标字段和源端字段数据类型不匹配时，数据是否能集成到目标端？ MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时，是否区分大小写？
取各种数据库的数据。 ROMA Connect的服务集成直接读取数据库中的数据，把读取到的数据封装为一个RESTful API，并开放给企业内或企业外的其他业务系统。其他业务系统通过调用该API，即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful
开发时，如何集成ROMA Connect的业务功能。 调用业务API实现业务系统数据开放的流程如下： 获取集成应用ID。 如果有可用的集成应用，则调用“查询应用列表”接口，获取集成应用ID。 如果没有可用的集成应用，则调用“创建应用”接口，创建一个集成应用并获取集成应用ID。 接入数据源。
acle数据库中，实现两个数据库之间的高效、准确的数据更新与同步。 该方案不仅能够减少人工操作带来的错误和遗漏，Oracle数据库中的数据都能反映出MySQL数据库的最新状态，满足业务系统的数据需求和数据分析的一致性要求。 父主题： 定时同步MySQL中的数据到Oracle
子公司或部门要访问其他子公司或部门的开放API时，需要使用不同的认证信息，增加了子公司或部门间数字资产的共享难度。 解决方案 ROMA Connect的服务集成APIC提供了API级联的能力，通过API级联能力把企业内所有子公司或部门要开放的API级联到一个ROMA Connect实例上，把该ROMA
保存数据方案 整体设计流程： 图1 具体设计方案： 图2 如上图，数据查询具体方案如下： 在集成工作台创建servicelayer连接器，连接器通过登录接口进行自定义认证； 在servicelayer连接器中创建执行动作，封装创建生产发料、创建生产收货等所需接口； 通过servi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
