检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否允许有值 此数据标准关联的数据是否有值 允许值范围 若允许有值,则填写对应的允许值,以逗号分隔。 数据示例 填写此数据标准的数据示例信息。 数据管家 填写此数据标准的数据管家。 数据类型 选择此数据标准的数据类型。 业务规则责任部门 填写此数据标准的业务规则责任部门。 同义词 填写此数据标准的同义词信息。
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
接入SQL Server数据源 概述 ROMA Connect支持把SQL Server数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用SQL Server数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
903(输出数据完整性校验结果) 904(经过数据完整性校验,发现有数据缺失,正在进行数据补偿) 905(输出数据补偿结果) 906(读取任务正在在排队中(平台资源)) 907(读取任务被拒绝执行,因为上一次调度还没有结束) 908(写入任务正在在排队中(平台资源)) 909(写
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 约束与限制 若SQL Server数据库为主从模式,不支持使用SQL
FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
datasource_id 是 String 数据源ID。 最小长度:1 最大长度:64 表2 Query参数 参数 是否必选 参数类型 描述 direction_type 是 String 数据源所在任务位置。 SOURCE 数据源处于任务源端 TARGET 数据源处于任务目标端 最小长度:0
测试数据源SQL是否可用 功能介绍 测试数据源SQL是否可用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/i
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。
附录:如何提高消息处理效率 消息生产和消费的可靠性必须由ROMA Connect、生产者和消费者协同工作才能保证,对使用ROMA Connect的生产者和消费者有如下的使用建议。 重视消息生产与消费的确认过程 消息生产 生产消息后,生产者需要根据ROMA Connect的返回信息
例如,某企业的业务系统需要使用ROMA Connect进行业务集成:其中需要创建50个数据集成任务进行数据同步,但并行运行的数据集成任务最多为20个,则数据集成所需要使用的连接数为20/2=10;需要创建200个托管类API和20个数据API用于业务功能和数据的开放,则服务集成所需要使用的连接数为200/10+2
附录 获取项目ID 获取账号ID 状态码 错误码 实例支持的APIC特性 数据集成参数说明 获取数据源配置文件
息的场景。 数据加密传输 SASL_SSL 选择是否开启消息传输的SASL认证和SSL加密,建议您开启SASL认证和SSL加密,提高数据传输的安全性。 数据加密传输 SASL_SSL一旦开启后将无法修改,请根据实际业务需要选择是否启用。 VPC内网明文访问 仅当“数据加密传输 SASL_SSL”开启时可配置。
MQS连接开发(开源客户端) Java客户端使用说明 Python客户端使用说明 Go客户端使用说明 C#客户端使用说明 其他语言客户端使用说明 附录:如何提高消息处理效率 附录:spring-kafka对接限制 父主题: 消息集成开发指导
不需要发送消息可不配置。 前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。 配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。
配置集成应用授权 数据集成任务 ROMA Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。 数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持两种数据集成任务:
设备集成 设备集成支持哪些通信协议? 为什么我的设备不能接入设备集成? 为什么规则引擎的数据目的端未收到设备发送的消息?
创建实例时为什么无法查看子网和安全组等信息? 实例创建后,支持修改VPC和子网吗? 是否支持跨VPC和跨子网访问ROMA Connect? 同一个实例中,为什么看到的数据跟其他人看到的不一样?