检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
发布数据API 在数据后端创建后,您需要发布数据后端,生成数据API并发布到环境上,才可供其他用户调用。 前提条件 每个API都要归属到某个API分组下,在发布函数API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证。
数据集成 数据集成普通任务 数据集成组合任务
接入MRS HDFS数据源 概述 ROMA Connect支持把MRS HDFS作为一个数据源,并用于数据集成任务。在使用MRS HDFS数据源前,您需要先接入数据源。 约束与限制 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS
接入MRS Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源,并用于数据集成任务。在使用MRS Kafka数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
接入HIVE数据源 接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
HIVE:HIVE数据源 MRSHBASE:MRS HBASE数据源 MRSHDFS:MRS HDFS数据源 MRSHIVE:MRS HIVE数据源 MRSKAFKA:MRS KAFKA数据源 MRSREDIS:MRS REDIS数据源 MRSCLICKHOUSE:MRS CLICKHOUSE数据源
前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6位,且数值为0时,数据后端会把该数据值转换为科学计数法。因此,不建议把numeric类型数据的小数位精度设置为超过6位。
根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
HIVE:HIVE数据源 MRSHBASE:MRS HBASE数据源 MRSHDFS:MRS HDFS数据源 MRSHIVE:MRS HIVE数据源 MRSKAFKA:MRS KAFKA数据源 MRSREDIS:MRS REDIS数据源 MRSCLICKHOUSE:MRS CLICKHOUSE数据源
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务(普通任务) 创建数据集成任务(组合任务) 创建数据集成任务(编排任务) 启停数据集成任务 数据集成任务管理 连接器
接入MRS HBase数据源 概述 ROMA Connect支持把MRS HBase作为一个数据源,并用于数据集成任务。在使用MRS HBase数据源前,您需要先接入数据源。 约束与限制 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS
配置数据转发规则 概述 规则引擎可以订阅设备Topic,获取设备上报的数据,然后将解析过的数据发送到其他云服务供其使用。例如,用户可制定规则,命令设备每小时上报一次设备温度,如果设备温度超出正常范围,则关闭该设备,给用户发送告警信息;LINK将收集到的数据传输到大数据分析平台,评估其他设备发生故障的风险。
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源,并用于数据集成任务。在使用MRS Hive数据源前,您需要先接入数据源。 约束与限制 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写DataArts
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写?
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte