检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成应用,用户使用集成应用的Key和Secret进行API请求的安全认证。 创建并开放数据API 接入数据源 接入数据源,确保可以正常从数据源读取数据。 创建数据API 把数据源定义为API,并对外开放。 配置API授权(可选) 仅使用APP认证方式的API,才需要配置调用授权,把
在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写
单击“创建”,完成API数据源的接入。 接入MQS数据源。 在“数据源管理”页面单击右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”数据源类型,然后单击“下一步”。 在页面中填写MQS数据源的相关配置信息。 表2 MQS数据源配置 参数 配置说明 数据源名称 填写M
方案概述 应用场景 使用ROMA Connect的服务集成APIC,可以快速将已有后端服务、数据源和自定义函数封装成标准的RESTful API并对外开放,简化了业务系统间的对接过程,降低了对接成本。 APIC提供了APP认证、IAM认证等安全认证方式,确保API访问的安全。AP
修改实例配置参数,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“配置参数”页签下,根据准备工作中获取的源实例配置参数信息,修改配置参数。 添加数据字典配置。 在“实例信息”页面的“数据字典”页签下,根据准备工作中获取的源实例数据字典信息,添加数据字典配置。 具体创建字典的操作请参见创建数据字典。 父主题:
开发规范 开发建议 数据集成开发建议: ROMA Connect仅对连接器的RESTful接口做了规范定义,具体连接器对数据源的读写功能以及RESTful接口均需要您自行开发,您可以自行选择开发语言进行连接器开发。 连接器开发完成后,您需要自行部署连接器,并确保连接器所在网络与ROMA
在左侧导航栏选择“资产目录”,在右测搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。 将MySQL数据表中的aa、bb字段同步到Oracle数据表中的TEST_INT
参数 说明 源端数据源 设置源端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json,xml和csv格式导入。 目的端数据源 设置目的端数据源,数据库类型的数据源在选择完表之后会自动
面。 配置采集任务信息,见下表。 表1 采集任务配置 参数 配置说明 名称 用户自定义任务名称。 描述 对该任务的描述内容。 数据源 选择对应的数据源。 适配器 选择对应的适配器。 开始执行时间 选择采集任务开始执行的时间。 周期类型 选择任务执行的周期类型,与执行周期配合使用。
ID。 如果没有可用的集成应用,则调用“创建应用”接口,创建一个集成应用并获取集成应用ID。 接入数据源。 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。 创建数据后端。 调用“创建后端API”接口,创建一个自定义后端,并获取返回的后端API编号。 调
前提条件 ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源。 ROMA Connect具备向目标端数据源写入数据的权限。 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 配置基本信息 登录ROMA Connect控制台
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
您可单击弹窗左上方的“”,修改集成应用的名称。 在左侧的“数据源”中,选择类型并单击“”展开,再选择数据源组件拖拽至集成应用中,作为源端节点。 单击源端数据源节点进行配置,选择对应数据源。 如果无可用数据源,可单击“添加数据源”进行添加,具体请参考数据源管理。 添加目标端节点。 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
单击“+”号,选择该适配器关联的架构。 描述 填写对该适配器的描述内容。 数据源分组 选择BIGDATA/DB/FILE/AKSK,一般选择DB 适配器类型 若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T
日志目录挂载盘大小,单位为G。 nameserver 否 配置的DNS。 docker_insecure_registries 是 Docker拉取镜像的仓库地址,存在多个使用逗号分隔。 hosts 否 网络环境需要的额外/etc/hosts代理配置,如swr、telemetry、edgeaccess等。
规则引擎 创建规则 查询规则 批量删除规则 调试规则 删除规则 查询规则详情 修改规则 添加目标数据源 查询目标数据源列表 删除目标数据源 添加源数据源 查询源数据源列表 删除源数据源 父主题: 设备集成API
"partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } MRS Hive也不是必须要分区。
更新所有表字段。 数据源为DWS、ORACLE配置。 meta_data 否 List<MetaData> 数据源的元数据定义对象,仅当“是否解析(is_parse)”选择“是”时需要配置。 对于FTP数据源类型,元数据必须按照文件中的字段顺序填写。 数据源为API、FTP配置。