检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入HIVE数据源 概述 ROMA Connect支持把HIVE作为一个数据源，用于创建数据API。在使用HIVE数据源前，您需要先接入数据源。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。
FDI通过公网对接其他租户的MRS HIVE如何配置？ 首先需要将MRS的IP全部绑定EIP，然后在MRS配置文件中的私网IP全部替换成EIP，再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”，值设为“true”。
单击“上传文件”，上传FI Hive配置文件。配置文件获取请参考获取FI Hive配置文件。 获取FI Hive配置文件： 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件，即FI Hive配置文件。 完成数
MRS Hive 获取MRS Hive配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源，并用于数据集成任务。在使用MRS Hive数据源前，您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源（包含MRS Hive、MRS HDFS和MRS HBase
单击“上传文件”，上传MRS Hive配置文件。配置文件获取请参考获取MRS Hive配置文件。 获取MRS Hive配置文件： 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件，即MRS Hive配置文件。 文件
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致： MRS Hive的配置文件中使用的私网IP，私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster，机机交互用户名填写的用户不具备管理员权限导致连接失败。
MRS Hive是否支持分区？ MRS Hive支持分区。 在输入Mapping信息时，可以参考下面格式： { "partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1"
MRS Hive目标字段和源端字段数据类型不匹配时，数据是否能集成到目标端？ 目标端MRS Hive和源端字段数据类型不匹配时，例如源端字段为datetime，目标端字段为date，数据可以集成到目标端，但是数据类型不匹配的字段值会为NULL，其他字段正常集成。 父主题： 数据集成普通任务
MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时，目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text（文本文件），而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题： 数据集成任务
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时，是否区分大小写？ Mapping映射时会区分大小写，源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致，MRS Hive和MRS HBase将会运行异常，MongoDB数据库不受影响，运行正常。
Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式，本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另
Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式，本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
协议连接各种类型设备与企业后台，实现企业后台与设备双向通讯。 故障预测与告警 在控制台上集成所有设备的信息，进行实时监控和预警分析，一旦设备的参数出现异常，ROMA Connect会在控制台上生成告警信息，提醒负责人对相应的设备进行维修；设备实时状态数据偏离正常运行的数据区间，可及时提醒设备保养检修。
HDFS集群节点都绑定了EIP，在创建MRS Hive数据源时，上传的配置文件中全部用的EIP，Hosts里面也配置好IP与Hostname，但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP，所以连接不通，导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site
数据或只集成增量数据。 实时任务启动后，ROMA Connect会不断检测源端数据变更。首次执行时，会把所有符合条件的源端数据集成到目标端，后续若检测到新增数据，则将其集成到目标端。 若两个数据集成任务分别使用了不同版本的MRS数据源（包含MRS Hive、MRS HDFS和MRS
创建组合任务 概述 FDI支持创建组合任务，组合任务适用于需要持续同步实时数据的场景。实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步，提高了数据的集成同步效率。 组合任务支持数据表之间字段（列）级别的灵活映射，例如源端一个数据表中的多个字段可分别映射到目标端的不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
