检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保证数据不丢失。 使用流程 使用ROMA Connect进行数据集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 接入数据源。 接入源端和目标端数据源,确保可以正常从源端读取数据以及向目标端写入数据。 创建集成任务。 数据集成任务规定了源端到目标端的数据集成规
仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DWS Kafka MySQL MongoDB Oracle PostgreSQL RabbitMQ SQL Server OBS API 任务的“集成模式”为“定时”或“实时”时,可以选择API作为目标端数据源,具体配置如下。
必填,启用:0,禁用:1。 DataParsingStatus 数据解析状态。 必填,启用:0,禁用:1。 SqlField 查询字段。 选填,建议通过页面创建。 SqlWhere 查询条件。 选填,建议通过页面创建。 AppName 应用名称。 必填,应用名称应已存在。 Sources
Oracle为非CDB数据库时的配置 建议由数据库管理员进行CDC功能的配置操作。 开启日志归档和XStream。 在命令行工具中执行以下命令以sys用户连接到数据库。 在实际使用过程中,可以有多种方式连接数据库,此处以命令行方式为例进行说明。 sqlplus /nolog CONNECT sys/password@host:port
选择接入数据源中已创建的数据源。 选择执行语句类型 选择执行语句的类型,可选择“SQL”和“SP”(Stored Procedure)。 如果是Redis或MongoDB数据源,选择“SQL”,实际执行语句为NoSQL。 高级设置 返回对象 填写返回对象的名称,执行语句的执行结果将封装在该对象中返回。
填写后端的名称,根据规划自定义。建议您按照一定的命名规则填写后端名称,方便您快速识别和查找。 集成应用 选择后端所属的集成应用。 后端请求方法 选择后端的请求方法,可选择“GET”、“POST”、“PUT”和“DELETE”。 后端请求路径 填写后端的请求路径,格式如:/getUserInfo/userId。
写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS 6 3 MongoDB 0
配置示例 前提条件 已获取IAM和ROMA Connect服务所在区域的Endpoint地址。 已获取ROMA Connect实例的实例ID,以及实例所在区域的项目ID。 在调用ROMA Connect的接口时,需要为调用请求添加认证信息。有Token认证和AK/SK认证两种认证方式,
准备Docker环境和镜像 本实践使用官方最新稳定版的Docker镜像(基于Docker、Docker-Compose)部署Filebeat和ELK。 前提条件 准备一台可连接公网的本地PC,系统为Linux,用于拉取Docker镜像。 已根据资源规划,完成服务器资源的准备,且E
数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20 表5 MultiTaskColumnInfo 参数 是否必选
规范查询字符串需要满足以下要求: 根据以下规则对每个参数名和值进行URI编码: 请勿对RFC 3986定义的任何非预留字符进行URI编码,这些字符包括:A-Z、a-z、0-9、-、_、.和~。 使用%XY对所有非预留字符进行百分比编码,其中X和Y为十六进制字符(0-9和A-F)。例如,空格字符必须编码为
Gauss 200 Gauss 200连接器用于连接Gauss 200数据库,负责建立和维护应用程序和Gauss 200数据库之间的连接,并管理数据的传输。 Gauss 200采用MPP架构,支持行存储和列存储,提供PB级别数据量的处理能力。 Gauss 200默认端口为25308,但
数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20 表5 MultiTaskColumnInfo 参数 是否必选
livedata.lambdaservice.util.JSONHelper 说明 提供Json与Xml、Map之间的相互转换。 方法列表 返回类型 方法和说明 static String json2Xml(String json) json转xml static String xml2Json(String
创建发布环境和环境变量(可选) 环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是系统默认的发布环境,也是正式发布环境。 环境变量是指在环境上创建的一种变量,该变量固定在环境上。如果A
表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分
创建发布环境和环境变量(可选) 概述 环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是系统默认的发布环境,也是正式发布环境。 环境变量是指在环境上创建的一种变量,该变量固定在环境上。
表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分
前序节点中的数据。 函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据
企业在日常运营的过程中,会持续的生产和累积数据资产,大部分企业的数据资产仅在企业内部使用,资产复用率低。若直接把数据库提供给合作伙伴或第三方访问,又难以保证数据库的对外安全访问问题。 解决方案 服务集成APIC是ROMA Connect的API集成组件,支持将已有后端服务、数据源和自定义函数封装成标准的RESTful