检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入数据源 概述 在创建数据API之前,您需要先接入数据源,确保可以正常从数据源读取数据。根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。
AK 填写DIS通道所属用户的访问密钥ID,AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 SK 填写DIS通道所属用户的秘密访问密钥,AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。
组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不同数据表中,或者源端多个数据表中的字段可以映射到目标端的一个数据表中。 前提条件 已完成源端数据源和目标端数据源的接入,具体操作请参考接入数据源。
返回类型 选择后端的响应数据格式,可选择“JSON”、“XML”和“STREAM”。 是否格式化 是否将响应消息体按选择的返回类型进行格式化。 后端创建完成后,页面自动跳转到该后端的编辑器页面,后端类型默认为数据后端。 配置函数后端。
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id
接入HIVE数据源 概述 ROMA Connect支持把HIVE作为一个数据源,用于创建数据API。在使用HIVE数据源前,您需要先接入数据源。 数据集成中仅支持百万以内数据量。
接入SAP数据源 概述 ROMA Connect支持把SAP系统作为一个数据源,通过RFC的方式与SAP对接,并用于数据集成任务。在使用SAP数据源前,需要先接入数据源。接入的SAP数据源需要为数据集成任务开启SAP相关权限,具体见表1。
配置源端数据信息 概述 本节主要提供数据集成任务源端信息的配置说明。源端信息用于告诉ROMA Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。
设备数据上报 主题Topic Topic /v1/devices/{gatewayId}/datas 消息发送方 边设备 消息接收方 物联网平台 参数说明 字段名 必选/可选 类型 参数描述 devices 必选 DeviceS[] 设备数据。
数据源 接入POSTGRESQL数据源 接入SFTP数据源 接入SYBASEIQ数据源 接入HANADB数据源 接入APPCUBE数据源 接入APIC数据源 接入数据治理中心数据源 接入本地文件数据源 接入IOT数据源 接入自定义数据源 父主题: 采集技术模型
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源,并用于数据集成任务。在使用MRS Hive数据源前,您需要先接入数据源。
接入MRS HDFS数据源 概述 ROMA Connect支持把MRS HDFS作为一个数据源,并用于数据集成任务。在使用MRS HDFS数据源前,您需要先接入数据源。
接入MRS HBase数据源 概述 ROMA Connect支持把MRS HBase作为一个数据源,并用于数据集成任务。在使用MRS HBase数据源前,您需要先接入数据源。
接入Redis数据源 概述 ROMA Connect支持把Redis数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用Redis数据源前,您需要先接入数据源。
FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
华为IAM认证:通过云服务平台的账号凭证(账号密码或者AK/SK)进行认证。如果使用AK/SK进行认证,还需要向API提供方获取用于调用API的SDK。 自定义认证:向API提供方获取请求参数中要携带的自定义认证信息。 无认证:无需认证信息。
”错误 FDI任务失败,修改问题后任务写入仍然报错 表名存在乱码导致Camel访问数据库失败 插入数据违反非空约束 DWS变成只读状态导致FDI任务运行失败 向DWS写入数据时越来越慢怎么解决
首次执行时,会把所有符合条件的源端数据集成到目标端,后续根据任务配置,集成符合条件的全量数据或只集成增量数据。 实时任务启动后,ROMA Connect会不断检测源端数据变更。首次执行时,会把所有符合条件的源端数据集成到目标端,后续若检测到新增数据,则将其集成到目标端。
数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成
AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 sk 仅当“登录方式”选择“ak/sk”时需要配置。AK/SK是用户在云服务平台的长期身份凭证,您可以参考访问密钥获取AK/SK。 密码 仅当“登录方式”选择“租户”时需要配置。华为云账号密码。