检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MapReduce服务（MRS） 华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。
根据数据源类型的不同，数据源的接入配置有所差异，具体如下表所示。接入数据源后，单击数据源名称可以查看数据源详情，数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景，建议使用数据复制服务
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
平台对接数据格式有哪些要求？ 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题： 数据服务常见问题
HIVE：HIVE数据源 MRSHBASE：MRS HBASE数据源 MRSHDFS：MRS HDFS数据源 MRSHIVE：MRS HIVE数据源 MRSKAFKA：MRS KAFKA数据源 MRSREDIS：MRS REDIS数据源 MRSCLICKHOUSE：MRS CLICKHOUSE数据源
数据集成 数据集成普通任务 数据集成组合任务
开发规范 开发建议 数据集成开发建议： ROMA Connect仅对连接器的RESTful接口做了规范定义，具体连接器对数据源的读写功能以及RESTful接口均需要您自行开发，您可以自行选择开发语言进行连接器开发。 连接器开发完成后，您需要自行部署连接器，并确保连接器所在网络与ROMA
接入HIVE数据源 接入LDAP数据源 接入IBM MQ数据源 接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源
接入MRS Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源，并用于数据集成任务。在使用MRS Kafka数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。
FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态，完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题： 数据集成API
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务（普通任务） 创建数据集成任务（组合任务） 创建数据集成任务（编排任务） 启停数据集成任务 数据集成任务管理 连接器
HIVE：HIVE数据源 MRSHBASE：MRS HBASE数据源 MRSHDFS：MRS HDFS数据源 MRSHIVE：MRS HIVE数据源 MRSKAFKA：MRS KAFKA数据源 MRSREDIS：MRS REDIS数据源 MRSCLICKHOUSE：MRS CLICKHOUSE数据源
前创建自定义认证。 数据源存储的单行数据大小建议不超过2KB，若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时，如果该数据的小数位精度超过6位，且数值为0时，数据后端会把该数据值转换为科学计数法。因此，不建议把numeric类型数据的小数位精度设置为超过6位。
照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写DataArts
接入MRS HBase数据源 概述 ROMA Connect支持把MRS HBase作为一个数据源，并用于数据集成任务。在使用MRS HBase数据源前，您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源（包含MRS Hive、MRS HDFS和MRS HB
配置数据转发规则 概述 规则引擎可以订阅设备Topic，获取设备上报的数据，然后将解析过的数据发送到其他云服务供其使用。例如，用户可制定规则，命令设备每小时上报一次设备温度，如果设备温度超出正常范围，则关闭该设备，给用户发送告警信息；LINK将收集到的数据传输到大数据分析平台，评估其他设备发生故障的风险。
FDI各类数据库支持哪些数据类型？ FDI各类数据库支持的数据类型有： Kafka数据库：string MySQL数据库：integer，bigint，number，varchar，char，float，date，timestamp，datetime Oracle数据库：inte
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则，把获取到的源端数据转换成写入目标端的数据。 配置Mapping信息 在创建任务页面中配置Mapping信息，有自动配置和手动配置两种方式。
接入MRS HDFS数据源 概述 ROMA Connect支持把MRS HDFS作为一个数据源，并用于数据集成任务。在使用MRS HDFS数据源前，您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源（包含MRS Hive、MRS HDFS和MRS HBase
是否允许有值 此数据标准关联的数据是否有值 允许值范围 若允许有值，则填写对应的允许值，以逗号分隔。 数据示例 填写此数据标准的数据示例信息。 数据管家 填写此数据标准的数据管家。 数据类型 选择此数据标准的数据类型。 业务规则责任部门 填写此数据标准的业务规则责任部门。 同义词 填写此数据标准的同义词信息。
从OBS解析文件到RDS数据库，采集过一次后，后面采集会进行更新吗？ OBS源端的CSV文件解析到关系型数据库时，列的值不对怎么办？ MRS Hive目标字段和源端字段数据类型不匹配时，数据是否能集成到目标端？ MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时，是否区分大小写？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
