检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目标端数据类型 选择“MRS HDFS”。 数据源名称 选择接入数据源中已配置的MRS HDFS数据源。 分隔符 填写MRS HDFS数据源中文本数据的字段分隔符,用于区分每行数据中的不同字段。
同时拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面,稳定可靠,扩展性强,性能优越的企业级数据库服务。 创建GaussDB连接 登录新版ROMA Connect控制台。
父主题: 华为云服务
200 表4 响应Body参数 参数 参数类型 描述 code String 响应码 start_time Long 开始时间的UTC的时间戳 end_time Long 截止时间的UTC的时间戳 list Array of StatisticsAPI objects 统计指标的数据结构体
发布数据API 在数据后端创建后,您需要发布数据后端,生成数据API并发布到环境上,才可供其他用户调用。 前提条件 每个API都要归属到某个API分组下,在发布函数API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证
查询源数据源列表 功能介绍 查询源数据源列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/link/instances/
创建函数API 概述 ROMA Connect支持把自定义函数定义为后端服务,把函数的能力以API的形式对外开放。 前提条件 如果后端服务需要使用签名密钥请求发送方进行认证,请提前创建签名密钥。 部署并发布后端服务时,如果需要使用自定义认证方式进行API的安全认证,请提前创建自定义认证
源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。
创建并开放数据API 概述 通过创建数据API,把停车场管理系统中的车位状态数据开放给第三方应用,供车主、城市管理者了解停车场车位情况。 操作步骤 创建后端。 在左侧的导航栏选择“服务集成 APIC > 自定义后端”,在“后端列表”页签中单击“创建后端”。 在创建后端页面填写后端相关配置信息
集群模式 要接入的MongoDB数据库是否为集群模式。 若接入的MongoDB数据库为集群模式,则选择“是”。 若接入的MongoDB数据库为副本集模式或单节点模式,则选择“否”。 副本集 仅当“集群模式”选择“否”时需要配置。
afterImplementation 否 List<AfterImplementation> 任务完成后执行,根据配置发送消息至Kafka或MRS Kafka。支持提供给第三方平台使用。
配置映射规则 概述 本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字
建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。
配置系统间数据集成 前提条件 确保业务系统数据库所在网络与ROMA Connect的网络互通。 若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保源端和目标端业务系统的数据库为ROMA Connect支持的数据源类型 数据集成支持的数据源请参见数据集成支持的数据源。
配置编排任务流程 概述 编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能: 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
FDI通过公网对接其他租户的MRS HIVE如何配置?
数据集成API 数据源管理 任务监控管理 任务管理
表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。