检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成概述 DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移（Cloud
数据集成 数据集成普通任务 数据集成组合任务
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务（普通任务） 创建数据集成任务（组合任务） 创建数据集成任务（编排任务） 启停数据集成任务 数据集成任务管理 连接器
查看数据集成任务 概述 数据集成任务创建后，您可以查看任务的相关信息，包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置，修改任务的操作跟创建任务类似，具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息，避免目标端出现脏数据或者数据集成不完
的情况下，同步任务将执行对源端数据向目标端数据的全量同步。在组件上可以看到同步的数据量及运行时长等信息。 图5 全量同步 数据补录 当发生源端历史数据变更等情况时，通过在读取组件自定义 SQL，可以添加针对日期字段进行过滤的 WHERE 条件，可以实现针对特定时间段的数据补录需要。 图6 数据补录 增量同步
个业务系统的某些数据时，就会出现获取的数据内容不符合要求，无法直接与自己数据结合使用等问题，不同业务系统间的数据共用难度大，效率低，影响业务发展。 解决方案 数据集成FDI是ROMA Connect的数据集成组件，支持多种数据类型之间灵活、快速、无侵入式的数据集成和转换，为业务系统之间建立有效的数据连接。
数据集成 数据集成主要包含三块：离线集成，实时集成，集成任务。 图1 数据集成 离线集成 主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。 结构化集成 图2 结构化集成 集成作业 图3 集成作业 任务名称：自定义数据 需求类型：目前只支持新增
的源端数据集成到目标端，后续若检测到新增数据，则将其集成到目标端。 定时任务启动后，ROMA Connect按照任务计划进行数据集成。首次执行时，会把所有符合条件的源端数据集成到目标端，后续根据任务配置，集成符合条件的全量数据或只集成增量数据。 启动数据集成任务。 在数据集成任务
数据集成平台应用部署 将部署文件上传到服务器/usr/local/下，解压target4.0.tar tar -zxvf target4.0.tar 说明：需要java环境 检查环境：java -vrsion 图1 解压 进入/usr/local/target4.0/bin下启动服务；启动命令：
项目ID。 源端数据源ID 源端数据源ID。 目标端数据源ID 目标端数据源ID。 源端数据源的名称 源端数据源的名称。 目标端数据源的名称 目标端数据源的名称。 源端数据源所属集成应用ID 源端数据源所属集成应用ID。 目标端数据源所属集成应用ID 目标端数据源所属集成应用ID。 源端数据源所属集成应用名称
取各种数据库的数据。 ROMA Connect的服务集成直接读取数据库中的数据，把读取到的数据封装为一个RESTful API，并开放给企业内或企业外的其他业务系统。其他业务系统通过调用该API，即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful
开发时，如何集成ROMA Connect的业务功能。 调用业务API实现业务系统数据开放的流程如下： 获取集成应用ID。 如果有可用的集成应用，则调用“查询应用列表”接口，获取集成应用ID。 如果没有可用的集成应用，则调用“创建应用”接口，创建一个集成应用并获取集成应用ID。 接入数据源。
4个子网分别供给数据接入、数据存储计算、数据服务、数据应用使用。 图2 服务部署设计 完成网络规划后，可根据网络架构展开细化部署架构。 数据集成设计 在数据集成中，针对不同场景可以选择不同的数据集成技术栈。以下是一些常见的数据集成技术栈及其适用场景： 批量数据集成：使用CDM，适
acle数据库中，实现两个数据库之间的高效、准确的数据更新与同步。 该方案不仅能够减少人工操作带来的错误和遗漏，Oracle数据库中的数据都能反映出MySQL数据库的最新状态，满足业务系统的数据需求和数据分析的一致性要求。 父主题： 定时同步MySQL中的数据到Oracle
数据集成前探查 数据探查是指用适当的统计、分析等方法对原始数据进行分析，对其特征加以汇总和理解，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，以求在数据入湖前最大化地了解数据现状，为数据集成方案的设计提供数据依据。 数据探查分析流程 依据数据集成入湖清单展开数据探查
子公司或部门要访问其他子公司或部门的开放API时，需要使用不同的认证信息，增加了子公司或部门间数字资产的共享难度。 解决方案 ROMA Connect的服务集成APIC提供了API级联的能力，通过API级联能力把企业内所有子公司或部门要开放的API级联到一个ROMA Connect实例上，把该ROMA
企业ERP接口把单据内的数据写入SparkPack 企业ERP 当历史数据不存在时，创建相应基础数据；当历史数据存在时，更新相应基础数据 父主题： 集成方案设计
数据集成普通任务 FDI各类数据库支持哪些数据类型？ 跟踪号是什么，能跟踪到数据吗？ FDI任务是否支持清空目标表？ FDI任务只能采集单张表到单张表吗？ 用户创建的FDI任务，同一账号的其他用户可见吗？ FDI通过公网对接其他租户的MRS HIVE如何配置？ 从OBS解析文件到
查询数据方案 整体设计流程： 图1 具体设计方案： 图2 如上图，数据查询具体方案如下： 在集成工作台创建diapi连接器，连接器通过登录接口进行自定义认证； 在diapi连接器中创建执行动作，封装执行sql的接口； 通过diapi登录接口创建连接，连接diapi系统； 在集成工作
保存数据方案 整体设计流程： 图1 具体设计方案： 图2 如上图，数据查询具体方案如下： 在集成工作台创建servicelayer连接器，连接器通过登录接口进行自定义认证； 在servicelayer连接器中创建执行动作，封装创建生产发料、创建生产收货等所需接口； 通过servi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
