检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产目录管理是数据资产管理中数据资产信息架构的核心目录。 子实例包含的页签是根据用户创建业务架构自动生成的,具体页签名以实际显示为准。 前提条件 已在创建信息架构中发布业务架构操作。
Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源 SAP:SAP
浏览器出于安全性考虑,限制从页面脚本内发起的跨域请求,此时页面只能访问同源的资源。而CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。跨域访问API请参见配置跨域访问API。 父主题: 创建并开放数据API
Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源 SAP:SAP
扩大资源配额 概述 为防止资源滥用,ROMA Connect限定了各资源的配额,对可创建资源的数量做了限制,例如实例数量、API数量、设备数量等。如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
如果数据API使用HTTPS请求协议,您还需要为独立域名申请SSL证书,并获取pem格式的SSL证书内容和密钥。 业务系统开放数据API 创建集成应用。 ROMA Connect实例中的资源都要归属到某个集成应用下,在创建其他资源前,您需要确保有一个集成应用。
资源规划 完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle
数据源 数据源连接测试失败排查操作 MRS Hive数据源测试连接失败 FTP数据源测试连接失败 OBS数据源测试连接失败 Kafka数据源连接失败
公共资源API 应用管理 资产管理 字典管理 公共管理 实例管理
由于操作系统、数据库软件等资源由客户准备,因此ROMA不负责此类资源的后期维护,强烈建议客户购买商业版的操作系统、数据库等软件,以免影响客户业务的正常运行。
准备资源 概述 在创建ROMA Connect实例前您需要提前准备相关依赖资源,包括VPC、子网和安全组。
资源规划 Filebeat部署在APIC的SHUBAO组件所在节点上,ELK部署在独立服务器中。在搭建Filebeat+ELK系统前,需要对Filebeat和ELK所需的服务器资源进行评估,以准备相关服务器资源。
接入API数据源 概述 ROMA Connect支持把API作为一个数据源,并用于数据集成任务。在使用API数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
公共资源权限 表1 公共资源权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建实例 - roma:instances:create vpc:vpcs:get vpc:vpcs:list
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 单击“创建”,完成数据源的接入。 父主题: 数据源管理
数据集成 数据集成普通任务 数据集成组合任务
准备依赖资源 ROMA Connect实例所需资源的具体要求和创建指导如下所示。 表1 实例依赖资源 资源 要求 创建指导 VPC和子网 不同的ROMA Connect实例可以复用相同的VPC和子网,也可以使用不同的VPC和子网,请根据实际需要进行配置。