检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据时,由于设置表字段类型不正确,导致报错,如下图。 解决方案 修改表字段类型,RowId一般是使用字母、数字生成的18位字符串,采集到目标端需要为字符类型。 父主题: 数据集成组合任务
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
填写“通道名称”所指队列管理器通道中,使用的密钥算法套件名称。 公钥库文件 仅当“是否开启SSL认证”选择“是”时需要配置。 SSL认证过程中,客户端(ROMA Connect)使用的公钥库文件,与服务端(IBM MQ)使用的私钥相匹配。 公钥库密码 仅当“是否开启SSL认证”选择“是”时需要配置。 公钥库文件对应的密码。
数据大小:1KB/10KB 磁盘类型:超高I/O SSD 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景
获取“core-site.xml”、“hbase-site.xml”、“hdfs-site.xml”和“hosts”文件。 参考更新客户端配置文件,在MRS控制台下载客户端配置文件,解压后: 从“xxx_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。
Access Token Url:输入OAuth2.0认证的Access Token Url。 客户端标识:输入OAuth2.0认证所需的客户端标识。 客户端密匙:输入OAuth2.0认证所需的客户端密匙。 Scope:输入访问 API 的 Scope(作用域),Scope 用于限制应用程序访问
在规则引擎界面单击“创建规则”按钮,规则引擎所属应用需要与普通产品相同。 单击规则引擎名称进入规则引擎详情页面,配置数据源端和数据目的端。 数据源端选择之前创建的产品和设备。 数据目的端选择同实例下的MQS。 调试设备 通过规则引擎将采集到的数据转发到MQS,在MQS查看上报的数据,即上报数据到ROMA
Java Demo使用说明 操作场景 除了前面章节介绍的使用原生Kafka客户端,MQS实例还可以通过HTTP RESTful方式访问,包括向指定Topic发送消息、消费消息以及确认消费。 这种方式主要用于适配原有业务系统架构,方便统一使用HTTP协议接入。 入门版规格实例不支持RESTful
设备可以使用开源Eclipse paho MQTT Client与ROMA Connect进行连接。您也可以使用MQTTX客户端进行设备接入的调测验证。 获取MQTT客户端。 根据您所使用的编程语言获取对应的Eclipse paho MQTT Client。 获取设备的接入信息。 登录ROMA
keytab”文件。 获取“core-site.xml”、“hdfs-site.xml”和“hosts”文件。 参考更新客户端配置文件,在MRS控制台下载客户端配置文件,解压后: 从“xxx_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。
长度2-64。设备名称、客户端ID、设备物理编号联合查询,设备数量过多时可能存在查询超时,建议只查询单个条件并增加查询字段。 最小长度:2 最大长度:64 client_id 否 String 设备客户端ID,平台生成的设备唯一标识。设备名称、客户端ID、设备物理编号联合查询,设
properties”、“core-site.xml”,“hdfs-site.xml”,“hosts”文件。 参考更新客户端配置文件,在MRS控制台下载客户端配置文件,解压后: 从“xxx_Services_ClientConfig_ConfigFiles”路径中得到“hosts”文件。
获取“MQTT连接地址”;如果使用MQTTS接入,则获取“MQTTS连接地址”,并下载SSL证书。 客户端ID/用户名/密码:在设备页签下找到对应的设备,并获取设备的“客户端ID”、“用户名”和“密码”。 设备的Topic信息:单击设备的名称进入设备详情页面,在Topic列表页签
Connect实例控制台选择“设备集成 LINK > 设备管理”,在页面中可查看MQTT连接地址/MQTTS连接地址,在“设备”页签的设备列表中,可查看要接入设备的“客户端ID”、“用户名”和“密码”信息。 准备开发环境 安装开发工具 安装2018.3.5或以上版本的IntelliJ IDEA,安装包请至IntelliJ
有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。 约束与限制 若两个数据集成
数据源定义”类似。 写端参数定义 定义数据源的写端参数,在数据集成任务的目标端选择该数据源时,需要配置此处定义的写端参数。ROMA Connect与连接器间交互的消息数据为JSON格式,参数以Key-Value形式传递。 单击“添加参数”,添加数据源的写端参数,具体的参数配置说明与“数据源定义”类似。
通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。 前提条件 ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源。
建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完整,特别是修改源端与目标端信息,会导致数据集成方案有变化。 查看任务信息 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
接入SFTP数据源 概述 ABM支持把SFTP作为一个数据源,并用于模型采集。在使用SFTP数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集
接入本地文件数据源 概述 ABM支持把本地文件作为一个数据源,并用于模型采集。在使用本地文件类型数据源前,您需要先创建数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集