检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层
开发规范 开发建议 数据集成开发建议: ROMA Connect仅对连接器的RESTful接口做了规范定义,具体连接器对数据源的读写功能以及RESTful接口均需要您自行开发,您可以自行选择开发语言进行连接器开发。 连接器开发完成后,您需要自行部署连接器,并确保连接器所在网络与ROMA
读写的表名、可以进行增量读取的时间戳字段列名等。 图2 连接器配置2 发布连接器 连接器创建完成后,单击发布,可以发布连接器的实例。 连接器和连接器实例的关系,类似编程中的类和类对象实例。 连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址
{dbname}为要接入的数据库名。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时需要配置。 填写数据库所使用的编码格式。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。
在页面中配置数据源的连接信息,如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层
连接器名称 填写连接器的名称。 标签 填写连接器的标签。 类别 选择连接器的类别。 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 描述 填写连接器的描述信息,用于识别不同的连接器。 单击“创建并配置详情”,进入连接器的动作配置页面。 单击,在“新建动作”弹窗中配置动作信息,并单击“确定”。
查询实例信息 功能介绍 查询对应实例ID的详细信息。 URI GET /v1/{project_id}/link/instances/{instance_id} 表1 参数说明 参数 类型 是否必填 说明 project_id string 是 租户每个区域对应的项目ID。 instance_id
如下为实例中单个任务运行时各数据源的读写性能,仅供参考。实际单个任务运行的性能还受网络带宽、数据源服务端性能等因素影响。在实例中有多个任务并发运行的情况下,受限于多个任务抢占CPU、内存等资源,任务的性能相比单个任务运行的性能会有不同程度的下降。 普通任务 ROMA Connect支持的数据集成普通任
套餐包计费:根据购买的套餐包规格提供对应的RCU时额度,使用过程中优先抵扣套餐包中的RCU时额度,超过额度的使用量按需计费。套餐包按月购买,当月生效的套餐包额度仅当月有效,额度余量过期失效,不可结转到下月使用。 例如购买了1000RCU时/月规格的套餐包,开通5RCU的实例,则当月内该
连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取记录 添加记录 更新记录 增量获取记录 删除记录 同步数据 自定义SQL 配置参数 表1 获取记录 参数 说明 表名 选择或者填写要查询的数据库中的表名。 字段名
在安全组配置页面中,根据准备工作中获取的源实例安全组信息和新实例的实际组网需求,修改安全组的规则配置。 ROMA Connect实例的安全组规则要求请参见表2。 修改实例路由信息,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“基本信息”页签下,更改路由信息。 修改实例配置参数,仅资产迁移场景需要,否则跳过此步。
接入数据源 概述 在创建采集任务之前,您需要先接入数据源,确保可以正常从数据源采集模型。根据数据源类型的不同,数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源
实例ID。 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 archive_id 是 String 作业执行成功后,查询作业进度返回的entities.archive_id字段。 请求参数 表2 请求Header参数 参数
Web”,单击“Next”。 图2 New Project 单击“...”,在弹出的对话框中选择解压后的SDK路径,单击“Finish”。 图3 选择解压后的SDK路径 完成工程创建后,目录结构如下。 图4 新建工程的目录结构 node_demo.js:Nodejs示例代码,请根据实际情况
ID)、SK(Secret Access Key)对请求进行签名。 AK:访问密钥ID。与私有访问密钥关联的唯一标识符,访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 Site实例中不支持IAM认证开发。
在页面中配置数据源的连接信息,如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层
登录新版ROMA Connect控制台。 在左侧导航栏选择“资源管理”,鼠标悬停于需要调整RCU的实例上,左下角单击“RCU调控”。 在RCU调控页面调整实例的RCU分配方案,系统会根据您配置的RCU值重新计算配置费用。 仅当“RCU分配”中首次为消息集成分配了RCU时,需参考表2配置MQS相关信息。完成后单击“下一步”。
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动LogMiner。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作