检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成参数说明 RawFormDataRequest RawFormDataResponse 父主题: 附录
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
自定义后端开发(数据后端) SQL语法 存储过程调用 多个数据源编排 可选参数的使用 父主题: 服务集成开发指导
datasource_id 是 String 数据源ID。 最小长度:1 最大长度:64 表2 Query参数 参数 是否必选 参数类型 描述 direction_type 是 String 数据源所在任务位置。 SOURCE 数据源处于任务源端 TARGET 数据源处于任务目标端 最小长度:0
测试数据源SQL是否可用 功能介绍 测试数据源SQL是否可用。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/i
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。
到后端服务的请求增加签名信息,后端服务收到请求后计算签名信息,验证计算后的签名信息与APIC的签名信息是否一致。 使用HTTPS对请求进行加密。使用此方法前,需要确保已有相应的SSL证书。 父主题: 服务集成
le、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
LINK read 可查看授权应用的数据源。 可查看、调试和导出授权应用的API。 可查看和导出授权应用的Topic。 可查看授权应用的设备、产品和规则,可导出授权应用的设备、产品和规则,并调试设备。 modify 可在授权应用下创建和编辑数据源。 可在授权应用下创建、编辑、发布、下线和导入API。
如果ROMA Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。 这个数据源插件称为连接器,这类通过连接器接入的数据源称为自定义数据源。
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
文件模板获取方式:在界面创建一个产品,选中该产品,单击导出键导出csv文件,根据需要导入的产品修改csv文件的内容。 导出/导出所有产品 导出单个或多个产品信息的csv文件。 如果导出单个或多个产品,可勾选需要导出的产品,单击“导出”按钮即可;如果导出所有产品,直接单击“导出所有产品”即可。 重置密码 如
配置集成应用授权 数据集成任务 ROMA Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。 数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持两种数据集成任务:
LINK read 可查看授权应用的数据源。 可查看、调试和导出授权应用的API。 可查看和导出授权应用的Topic。 可查看授权应用的设备、产品和规则,可导出授权应用的设备、产品和规则,并调试设备。 modify 可在授权应用下创建和编辑数据源。 可在授权应用下创建、编辑、发布、下线和导入API。
Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
可。 私钥 仅当“配置类型”选择“证书”时可配置。 填写pem编码格式的证书私钥。 以文本方式打开待上传证书里的KEY格式或PEM格式的私钥文件(后缀名为“.pem”或“.key”),将私钥复制到“私钥”中即可。 密码 仅当“配置类型”选择“证书”时可配置。 填写证书私钥的密码。
Password 必选 String(256) Password的值为使用“HMACSHA256”算法以时间戳为密钥,对secret进行加密后的值。 secret为注册设备时平台返回的secret,或者是设备自身的secret。 父主题: MQTT协议Topic规范
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题: 数据集成任务