检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成FDI是ROMA Connect的数据集成组件，支持多种数据类型之间灵活、快速、无侵入式的数据集成和转换，为业务系统之间建立有效的数据连接。 本章节介绍如何通过ROMA Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作，以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器，以sa用户登录数据库。 其中，密码为数据库用户sa的密码，可向数据库管理员获取。 单击“新建查询
任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务DRS；对于关系型数据库、大数据、文本等数据迁移到数据湖的场景，建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式（源端）
FDI各类数据库支持哪些数据类型？ 跟踪号是什么，能跟踪到数据吗？ FDI任务是否支持清空目标表？ FDI任务只能采集单张表到单张表吗？ 用户创建的FDI任务，同一账号的其他用户可见吗？ FDI通过公网对接其他租户的MRS HIVE如何配置？ 从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？
业务使用介绍 功能简介 数据集成FDI是ROMA Connect的数据集成组件，支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成，有如下优势： 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型
操作步骤 建议由数据库管理员进行CDC功能的配置操作，以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器，执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中，password为数据库root用户的密码，可向数据库管理员获取。
选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型，此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后，在编辑器左侧选择数据源，然后您可以在右侧的语句编辑框中为数据源添加如下执行语句，从数据库中获取当前空余车位数量。
SQL语句由三个部分组成：Select语句、From语句和Where语句。JSON格式的数据分为两种：带有单引号或双引号的是常量数据，不带任何引号的是变量数据。 SELECT语句中的字段是JSON消息Key里面的值，支持SQL内置的函数。您可以参考表5，获取其他SQL函数的使用方法。同时，SEL
任务中配置的时间戳字段为updatetime，源端数据库中createtime记录了数据插入的时间，查看未采集到的数据，updatetime要早于createtime，导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内，所以部分数据采集不到。 解决方案 调整源端数据库的updatet
选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后，单击“测试连接”，检测ABM与数据源之间是否能够连通。
仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写DAMENG数据库的JDBC格式连接串，格式：jdbc: dm://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的DAMENG数据库名。 用户名 数据库的登录用户名。 密码
难以集成设备数据与环境数据 多品牌、多种类的生产设备要实现实时监控管理，则设备数据与环境数据需要采集和上传，不同品牌和种类的设备，使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上，任何一台机器出现故障，会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到
部署区域 填写DataArts Studio云服务实例的部署region。 登录方式 选择连接数据库模式。 租户：即以华为云账户密码的方式进行连接。 ak/sk：即获取“访问密钥”进行连接。AK/SK是用户在云服务平台的长期身份凭证，您可以参考访问密钥获取AK/SK。 租户名称 仅当“登
路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id 是 String 项目ID，获取方式请参见API参考的“附录 > 获取项目ID”章节。 archive_id 是 String 作业执行成功后，查询作业进度返回的entities
仅当“是否使用JDBC字符串”选择“是”时需要配置。 填写MYSQL数据库的JDBC格式连接串，格式：jdbc:mysql://host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的MYSQL数据库名。 用户名 数据库的登录用户名。 密码
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题： 数据集成API
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
FDI任务是否支持清空目标表？ FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表，其他数据源不支持清空表操作。 父主题： 数据集成普通任务
RFC_FUNCTION_SEARCH_WITHGROUP 跨应用授权对象 S_RFC 跨应用授权对象 ACTVT 活动 16 跨应用授权对象 S_TCODE 事务开始时检查事务代码 TCD 事务代码 SM50 基础：管理 S_TABU_NAM 按通用标准工具访问表 ACTVT 活动 3 基础：管理 S_TABU_NAM
"signatureSecret" 表1 参数说明 参数 是否必选 类型 说明 type 是 String 认证类型，仅支持“apiKey”。 name 是 String 用于认证的参数名称，填写为Authorization。 in 是 String 参数所在位置，仅支持“header”。 description
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
