检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
接入SQL Server数据源 概述 ROMA Connect支持把SQL Server数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用SQL Server数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
903(输出数据完整性校验结果) 904(经过数据完整性校验,发现有数据缺失,正在进行数据补偿) 905(输出数据补偿结果) 906(读取任务正在在排队中(平台资源)) 907(读取任务被拒绝执行,因为上一次调度还没有结束) 908(写入任务正在在排队中(平台资源)) 909(写
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
datasource_id 是 String 数据源ID。 最小长度:1 最大长度:64 表2 Query参数 参数 是否必选 参数类型 描述 direction_type 是 String 数据源所在任务位置。 SOURCE 数据源处于任务源端 TARGET 数据源处于任务目标端 最小长度:0
测试数据源SQL是否可用 功能介绍 测试数据源SQL是否可用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/i
CLICKHOUSE数据源 FTP:FTP数据源 OBS:OBS数据源 ACTIVEMQ:ActiveMQ数据源 ARTEMISMQ:ArtemisMQ数据源 IBMMQ:IBM MQ数据源 KAFKA:Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
source_datasource_id String 源端数据源ID。 最小长度:1 最大长度:64 target_datasource_id String 目标端数据源ID。 最小长度:1 最大长度:64 source_datasource_name String 源端数据源的名称。 最小长度:1 最大长度:64
数据集成参数说明 RawFormDataRequest RawFormDataResponse 父主题: 附录
企业数据以API形式开放共享 方案概述 通过数据API开放数据 通过函数API开放数据
FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
是否允许有值 此数据标准关联的数据是否有值 允许值范围 若允许有值,则填写对应的允许值,以逗号分隔。 数据示例 填写此数据标准的数据示例信息。 数据管家 填写此数据标准的数据管家。 数据类型 选择此数据标准的数据类型。 业务规则责任部门 填写此数据标准的业务规则责任部门。 同义词 填写此数据标准的同义词信息。
使用不同功能所占用的连接数不同,具体的资源和连接数换算关系如下。 数据集成:2个运行状态的数据集成任务占用1个连接。 服务集成:10个托管类API(非自定义后端发布生成的API)占用1个连接;5个函数API或数据API占用1个连接。 消息集成:3个消息Topic占用1个连接。 设备集成:1000个设备占用1个连接。
数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持创建两种数据集成任务: 创建数据集成任务:普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持源端一个数据表到目标端一个数据表的集成同步。
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。