检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源,并用于数据集成任务。在使用MRS Hive数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase
图解应用与数据集成平台
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
ROMA-成长地图 | 华为云 应用与数据集成平台 应用与数据集成平台(ROMA Connect)是一个全栈式的服务平台,聚焦应用和数据连接,提供数据、API、消息和设备集成能力,帮助企业快速联接云上云下,消除数字鸿沟,实现数字化转型。 产品介绍 立即使用 成长地图 由浅入深,带您玩转ROMA
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
ROMA Connect支持的数据源 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“API”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“Kafka”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义
配置集成应用授权 数据集成任务 ROMA Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。 数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持两种数据集成任务:
APIC是否支持多后端节点方案? 通过负载通道支持多后端节点。一个负载通道中可以添加多个弹性云服务器。 父主题: 服务集成
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。
config_value String 配额值 当前实例所在租户该配额对应的数量 config_time String 配额创建时间 remark String 配额描述: API_NUM_LIMIT:租户可以创建的API个数限制 APP_NUM_LIMIT:租户可以创建的APP个数限制 APIGRO
”。 接入数据源。 配置ROMA Connect接入业务系统的数据库,确保可以正常从数据库读取数据。不同类型数据源的接入配置不同,此处以MySQL数据库为例,其他类型数据库请参考接入数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerbero
API管理 创建API 修改API 删除API 发布或下线API 查询API详情 查询API列表 批量发布或下线API 调试API 切换API版本 查看版本详情 根据版本编号下线API 查询API历史版本列表 查询API运行时定义 校验API定义 父主题: 服务集成API
数据源管理 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源
插件管理 使用插件 跨域资源共享插件说明 Kafka日志推送插件说明 HTTP响应头管理插件说明 断路器插件说明 父主题: 服务集成指导(旧版界面)