检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入WebSocket数据源 概述 ROMA Connect支持把WebSocket系统作为一个数据源,并用于数据集成任务。在使用WebSocket数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
修改数据源配置 概述 数据源的连接信息包括地址、账号和密码,为非资产数据,在导入集成资产后需要重新配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“数据源管理”页面,单击数据源右侧的“编辑”。 在编辑数据源页面修改数据源的连接信息配置。 对于资产恢复场景,修改密码配置。
数据集成任务管理 查看数据集成任务 导入导出数据集成任务 附录:QuartZ Cron表达式配置说明 父主题: 数据集成指导
数据集成开发指导 开发说明 连接器RESTful接口规范 自定义数据源开发示例(定时任务) 自定义数据源开发示例(实时任务)
多个数据源编排 一个数据API可以包含多个数据源,因此一次API请求可以涉及多个数据源,例如取第一个数据源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下:
集团应用与数据集成 集团企业完成子公司与集团总部之间、集团与外部合作伙伴之间的集成面临这些瓶颈: 地域差异 集团总部和集团子公司、合作伙伴所处的地域不同,时区不同,降低了数据的时效性和可靠性。 云服务差异 集团总部和集团子公司、合作伙伴使用的云服务不一样,调用不同的云服务存在困难。
启停数据集成任务 概述 数据集成任务创建后,“任务状态”为“停止”状态,此时任务不会执行,需先启动任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。
数据集成参数说明 RawFormDataRequest RawFormDataResponse 父主题: 附录
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
导入导出数据集成任务 概述 数据集成任务创建后,您可以通过导入导出功能,导入或导出数据集成任务。如果数据集成任务关联子任务,在任务导入后需要重新配置子任务信息。 导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
企业数据以API形式开放共享 方案概述 通过数据API开放数据 通过函数API开放数据
接入自定义数据源 概述 ROMA Connect支持把自定义的连接器作为一个数据源,并用于数据集成任务。在使用自定义数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 已有可用的连接器
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
接入本地文件数据源 概述 ABM支持把本地文件作为一个数据源,并用于模型采集。在使用本地文件类型数据源前,您需要先创建数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集
删除指定数据源信息 功能介绍 通过数据源ID删除指定数据源信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/fd