检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
指从源端获取到的JSON格式数据中，要集成到目标端的每一个底层key-value型数据元素。 别名：对元数据的自定义名称。 类型：元数据的数据类型，需要与源端数据中对应字段的数据类型一致。 解析路径：元数据的完整路径中，不包含数据根字段的路径部分，具体请参见元数据解析路径配置说明。 元数据解析路径配置说明：
任务目标端数据源类型元数据定义。 path 否 String 文件路径，任务目标端填写FTP服务器中要访问的文件夹路径。 write_mode 否 String 写模式，文件型数据源，为必填项。 file_name_charset 否 String 文件名称字符编码，文件型数据源，为必填项。
数据安全中心 数据安全中心服务连接器用于对接华为云数据安全中心服务。 数据安全中心服务（Data Security Center，DSC）是新一代的云化数据安全平台，提供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力，通过资产地图整合数据安全生命周期
照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
edIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kaf
命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 完成数据源接入配置后，
edIn开发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kaf
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务（普通任务） 创建数据集成任务（组合任务） 创建数据集成任务（编排任务） 启停数据集成任务 数据集成任务管理 连接器
在每次任务执行过程中，如果源端的某些数据符合集成条件，但因为网络抖动或数据转换异常等原因，无法顺利集成到目标端数据源，则ROMA Connect可以将这些数据以文本文件的形式存储在OBS中。 如果需要配置“异常数据存储”，请展开“异常数据存储”模块参照表1进行配置，如果不需要配置，请将“异常数据存储”模块折叠，否则影响任务保存。
查看数据集成任务 概述 数据集成任务创建后，您可以查看任务的相关信息，包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置，修改任务的操作跟创建任务类似，具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息，避免目标端出现脏数据或者数据集成不完
是否对转发的设备数据进行base64编码，此处不开启。 包含设备信息 转发的设备数据是否包含设备信息，为方便后续识别转发数据所属的设备，此处开启。 在“数据目的端”下单击“创建数据目的端”，设置数据目的端相关配置，然后单击“保存”，完成数据转发规则的配置。 表4 数据目的端配置 参数
接入数据源 概述 在创建采集任务之前，您需要先接入数据源，确保可以正常从数据源采集模型。根据数据源类型的不同，数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选，并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选，并传递给后续节点。例如数
的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“MRS Kafka”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。
在左侧的导航栏选择“数据源管理”，单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下，选择“RabbitMQ”类型的数据源，然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据规划自定
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项（Action） 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ MRS Hive目标字段和源端字段数据类型不匹配时，数据是否能集成到目标端？ MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时，是否区分大小写？
数据转换 “数据转换”连接器用于数据流的格式转换，当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式，可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据，请参考引用变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
