检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect对数据源的读写请求,通过调用连接器开放标准的RESTful接口完成。 在完成连接器的开发和部署后,您需要在ROMA Connect上创建连接器,定义连接器的对接参数。 操作步骤 登录ROMA Connect控制台,在左侧的导航栏选择“资产管理”。 单击页面右上角的“创建连接器”。
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务(普通任务) 创建数据集成任务(组合任务) 创建数据集成任务(编排任务) 启停数据集成任务 数据集成任务管理 连接器
以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
String 产品的设备类型,默认Default。 最小长度:0 最大长度:64 product_type 否 Integer 产品类型,0-普通产品(不支持子设备) 1-网关产品。 最小值:0 最大值:10 protocol_type 否 Integer 产品的协议类型 0-mqtt
JSON格式数据中不含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d,元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 {
{hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {servicename}为要接入的Oracle数据库服务名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 对于普通数据集成任务,Oracle数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。
可以把本地的产品文件导入ROMA Connect,实现产品信息的批量迁移。 前提条件 导入产品前,请确保产品所属的集成应用已创建,否则请提前创建集成应用。 导入产品前,请检查导入产品的实例中是否存在重名产品,若存在重名产品,会导致导入产品失败。 导入产品前,请确保产品的配额满足需求。
若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 任务列表中的“开始调度时间”为已创建且未启动的定时任务调度计划的开始生效时间。
参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:0 最大长度:32 instance_id 是 String 实例的ID。 最小长度:0 最大长度:36 表2 Query参数 参数 是否必选 参数类型
消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String API分组的名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头,3-255个字符。
String 厂商ID,未填写产品ID时厂商ID和型号必填。 最小长度:0 最大长度:64 model String 型号,未填写产品ID时厂商ID和型号必填。 最小长度:0 最大长度:64 protocol_type Integer 产品的协议类型:0-mqtt,1-CoAP,2-m
String 厂商ID,未填写产品ID时厂商ID和型号必填。 最小长度:0 最大长度:64 model String 型号,未填写产品ID时厂商ID和型号必填。 最小长度:0 最大长度:64 protocol_type Integer 产品的协议类型:0-mqtt,1-CoAP,2-m
后端参数位置为“HEADER”时,参数名不区分大小写。 以下表的参数和后端请求Path为例进行说明。test01和test03分别在API请求中的PATH和QUERY位置,通过参数映射,后端服务将在HEADER位置接收test01和test03的值。test02在API请求中的HEADER位置,通过参数映射,
本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
请求参数匹配编排规则的生效优先级与列表顺序保持一致,列表中靠前的配置匹配优先级较高; 如果编配规则列表中包含none_value类型的规则,则none_value类型的规则优先级最高,至多绑定一个none_value类型的规则; 如果编排规则列表中包含default类型的规则,则def
请求参数匹配编排规则的生效优先级与列表顺序保持一致,列表中靠前的配置匹配优先级较高 如果编排规则列表中包含none_value类型的规则,则none_value类型的规则优先级最高,至多绑定一个none_value类型的规则; 如果编排规则列表中包含default类型的规则,则defa
填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间(秒) 连接数据库的超时时间,单位为秒。 用户名 访问数据库的用户名,且该用户具备数据库的读写权限。 密码
Java:1.8.111或以上版本的Java Development Kit。 Python:2.7或3.X版本的Python。 Go:1.14及以上版本的Go。 C#:6.0及以上版本的.NET。 客户端版本使用建议: ROMA Connect的Kafka版本 Kafka客户端建议版本
does not contain "${{begin}}" and "${{end}}". 增量迁移的SQL语句中不包含“${{begin}}”和“${{end}}”。 检查增量迁移的SQL语句。 400 FDI.3073 The SQL statement is empty. SQL语句为空。
读写的表名、可以进行增量读取的时间戳字段列名等。 图2 连接器配置2 发布连接器 连接器创建完成后,单击发布,可以发布连接器的实例。 连接器和连接器实例的关系,类似编程中的类和类对象实例。 连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址