检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写HIVE的JDBC格式连接串,例如:jdbc:hive2://{hostname}:{port}/{dbname}。
配置源端数据信息 概述 本节主要介绍编排任务连接后的连接配置。提供了编排任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型
数据层。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的端口。 客户端ID 填写APPCUBE系统中要连接的客户端号。 密码 数据库的登录密码。 完成数据源接入配
数据源管理 ROMA Connect支持的数据源 接入API数据源 接入ActiveMQ数据源 接入ArtemisMQ数据源 接入DB2数据源 接入DIS数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入FTP数据源 接入HL7数据源 接入HANA数据源 接入HIVE数据源
数据源为IMF类型且mq_type为RabbitMQ时需要配置。 初始值为空,配置任务启动后生成host。 最小长度:4 最大长度:255 port 否 String 端口,端口号为0到65535。 数据源为DWS、HANA、RABBITMQ、SAP、SNMP、IBMMQ,obs类型时需要配置。 数
开发准备 获取MQS连接信息 获取连接地址与端口 在ROMA Connect实例控制台的“实例信息”页面,在“基本信息”页签查看MQS连接地址。 使用Kafka客户端内网连接MQS:在“连接地址”下查看消息集成 MQS内网连接地址。 使用Kafka客户端公网连接MQS:在“连接地址”下查看消息集成
道类型为微服务时支持。 最大长度:64 microservice_port 否 Integer VPC通道后端服务器组的端口号,仅VPC通道类型为微服务时支持。端口号为0时后端服务器组下的所有地址沿用原来负载端口继承逻辑。 最小值:0 最大值:65535 microservice_labels
数据源IP不在有效网段内。 检查task_id参数是否正确,修改task_id后重。 400 FDI.3048 Invalid pagination parameters. 分页参数不合法。 请参考API接口文档修改limit和offset参数。 400 FDI.3049 The
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
配置SQL Server CDC 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 约束与限制
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写RocketMQ的连接IP地址和端口号。 数据源的接入配置示例如下所示。 图1 RocketMQ数据源配置示例 RocketMQ数据源不支持端口映射的方式接入。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。
态下后端API请求路径不能修改。 最小长度:2 最大长度:256 method String 后端API请求方法。 支持GET、PUT、POST、DELETE 更新后端API时,status=4为后端API的已部署状态,该状态下后端API请求方法不能修改。 description
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完整,特别是修改源端与目标端信息,会导致数据集成方案有变化。 查看任务信息 登录ROMA
修改后端实例 功能介绍 更新指定的VPC通道的后端实例。更新时,使用传入的请求参数对对应云服务组的后端实例进行全量覆盖修改。若未指定修改的云服务器组,则进行全量覆盖。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
http或https时必选 method 否 String 健康检查时的请求方法 缺省值:GET port 否 Integer 健康检查的目标端口,缺少或port = 0时为VPC中主机的端口号。 若此端口存在非0值,则使用此端口进行健康检查。 最小值:0 最大值:65535 threshold_normal
接入数据源 概述 在创建数据API之前,您需要先接入数据源,确保可以正常从数据源读取数据。根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。
后端服务的地址。不使用VPC通道时,url_domain为必填。 由主机(IP或域名)和端口号组成,总长度不超过255。格式为主机:端口(如:apig.example.com:7443)。如果不写端口,则HTTPS默认端口号为443,HTTP默认端口号为80。 支持环境变量,使用环境变量时,每个变量名的长度为3